From 0becce6012620c08638c3feb3ee88f97190e85e8 Mon Sep 17 00:00:00 2001 From: postscriptum Date: Thu, 6 Nov 2025 15:00:19 +0200 Subject: [PATCH] 1762434019 --- public/uk/first-experience-with-ollama-llm.gmi | 14 +++++++++++--- 1 file changed, 11 insertions(+), 3 deletions(-) diff --git a/public/uk/first-experience-with-ollama-llm.gmi b/public/uk/first-experience-with-ollama-llm.gmi index 98e0b48..de44d6b 100644 --- a/public/uk/first-experience-with-ollama-llm.gmi +++ b/public/uk/first-experience-with-ollama-llm.gmi @@ -47,18 +47,26 @@ bin/ollama --help ollama serve ``` -Потім вказується потрібна модель: +Потрібна модель вказується аргументом run, я це роблю в окремому табі (сесії) терміналу: ``` bash ollama run mistral ``` * якщо модель відсутня, її буде автоматично завантажено з репозиторію +* тут варто зауважити, що у вас повинно бути достатньо оперативної пам'яті, інакше ймовірне її переповнення з подальшим завісанням системи. Скільки для якої моделі потрібно пам'яті - дивіться в специфікації. Скажу тільки що моїх 12 Gb + 8 Gb swap достатньо лише для Mistral. Наскільки розумію, розмір пам'яті приблизно дорівнюватиме розміру моделі + витрати на систему і сам сервер Ollama. Так собі думаю, що теоретично можна організувати swap-файл на SSD, звісно буде не дуже швидко і не дуже "гуманно" для цього типу носія, але якось буде. -Тут варто зауважити, що у вас повинно бути достатньо оперативної пам'яті, інакше ймовірне її переповнення з подальшим завісанням системи. Скільки для якої моделі потрібно пам'яті - дивіться в специфікації. Скажу тільки що моїх 12 Gb + 8 Gb swap достатньо лише для Mistral. Наскільки розумію, розмір пам'яті приблизно дорівнюватиме розміру моделі. Так собі думаю, що теоретично можна організувати swap-файл на SSD, звісно буде не дуже швидко і не дуже "гуманно" для цього типу носія, але якось буде. +Щоб видалити модель і звільнити простір, виконуємо послідовність команд: + +``` bash +ollama list +ollama rm ID +``` +* ID - назва зі списку +* в системах Linux, моделі завантажуються до стандартної теки профілю `~/.ollama` ## Клієнти -З клієнтів, не довго обираючи, поставив зі стандартного магазина застосунків Alpaca, ця "альпака" також є на GitHub: +Не довго обираючи, поставив зі стандартного магазина застосунків Alpaca, ця "альпака" також є на GitHub: => https://github.com/Jeffser/Alpaca В іншому, тут що кому треба: можна прикрутити плагіни для VSCode, тощо. \ No newline at end of file