Запуск моделі ШІ, Dobby, проекту Sentient на Windows
February 1st, 2025

Привіт! Сьогодні ми поговоримо про те, як правильно розгорнути модель штучного інтелекту Dobby локально на Windows.

Про проект, я писав тут, тут, тут. Не буду ще раз це саме повторювати.

Перейдемо до гайду:

1. Завантаження моделі

Перейдіть на сайт HuggingFace.

Якщо у вас немає облікового запису, створіть його.

Зайдіть на сторінку Sentient.

Перейдіть до моделей:

Нажимаємо на неї:

Переходимо на сторінку "Files and versions".

Перед цим створіть у себе на ПК теку dobby_model і завантажте туди обрану модель.

2. Встановлення Ollama

Ollama – це інструмент (програма) для запуску локальних моделей.

Завантажте та встановіть її за цим посиланням. Після встановлення запустіть програму — вона відкриється в PowerShell. Додаток автоматично запропонує наступну команду для встановлення. Якщо цього не станеться, перегляньте деталі інсталяції.

3. Створіть файл, “Modelfile

Modelfile – це простий файл, який вказує Ollama, звідки брати вашу модель.

Для цього відкрийте будь-який текстовий редактор (я використовую Notepad++), створіть файл Modelfile без розширення .txt та збережіть його в тій самій теці, де знаходиться ваша модель.

Впишіть у файл наступний рядок і збережіть зміни:

FROM ./dobby-8b-unhinged-q4_k_m.gguf

4. Запуск моделі

Коли Modelfile готовий, перейдіть за допомогою консолі в теку де находиться модель та файл, наприклад:

cd D:\dobby_model

Введіть таку команду:

 ollama create dobby-unhinged -f Modelfile

dobby-unhinged – це ім’я, яке ви даєте моделі (можна обрати будь-яке, головне потім використовувати так само).

-f Modelfile вказує, що беремо інструкції з вашого Modelfile.

Після виконання цієї команди Ollama «збере» внутрішню базу даних про модель. Це може зайняти деякий час, залежно від розміру файлу та потужності вашого комп’ютера.

Тепер, коли модель «створена», можна її запустити:

ollama run dobby-unhinged

dobby-unhinged – це та сама назва, яку ви вказали на попередньому кроці.

Після цієї команди Ollama підготується й відкриє інтерфейс «запит-відповідь» у вашому терміналі (можливо, виглядатиме, як запрошення >, куди ви зможете щось ввести).

також він знає і українську мову:

Гайд англіською мовою вийде на Github.

Якщо Вам було цікаво, підписуйтесь,

Subscribe to o7xabz
Receive the latest updates directly to your inbox.
Mint this entry as an NFT to add it to your collection.
Verification
This entry has been permanently stored onchain and signed by its creator.
More from o7xabz

Skeleton

Skeleton

Skeleton