ps/gemlog
1
0
Fork 0
mirror of https://codeberg.org/postscriptum/gemlog.git synced 2026-02-18 22:12:40 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions

1762434019

Browse source
This commit is contained in:
postscriptum 2025-11-06 15:00:19 +02:00
parent 7823c71020
commit 0becce6012
1 changed files with 11 additions and 3 deletions
Download patch file Download diff file Expand all files Collapse all files

14
public/uk/first-experience-with-ollama-llm.gmi
View file

@ -47,18 +47,26 @@ bin/ollama --help
ollama serve
```
Потім вказується потрібна модель:
Потрібна модель вказується аргументом run, я це роблю в окремому табі (сесії) терміналу:
``` bash
ollama run mistral
```
* якщо модель відсутня, її буде автоматично завантажено з репозиторію
* тут варто зауважити, що у вас повинно бути достатньо оперативної пам'яті, інакше ймовірне її переповнення з подальшим завісанням системи. Скільки для якої моделі потрібно пам'яті - дивіться в специфікації. Скажу тільки що моїх 12 Gb + 8 Gb swap достатньо лише для Mistral. Наскільки розумію, розмір пам'яті приблизно дорівнюватиме розміру моделі + витрати на систему і сам сервер Ollama. Так собі думаю, що теоретично можна організувати swap-файл на SSD, звісно буде не дуже швидко і не дуже "гуманно" для цього типу носія, але якось буде.
Тут варто зауважити, що у вас повинно бути достатньо оперативної пам'яті, інакше ймовірне її переповнення з подальшим завісанням системи. Скільки для якої моделі потрібно пам'яті - дивіться в специфікації. Скажу тільки що моїх 12 Gb + 8 Gb swap достатньо лише для Mistral. Наскільки розумію, розмір пам'яті приблизно дорівнюватиме розміру моделі. Так собі думаю, що теоретично можна організувати swap-файл на SSD, звісно буде не дуже швидко і не дуже "гуманно" для цього типу носія, але якось буде.
Щоб видалити модель і звільнити простір, виконуємо послідовність команд:
``` bash
ollama list
ollama rm ID
```
* ID - назва зі списку
* в системах Linux, моделі завантажуються до стандартної теки профілю `~/.ollama`
## Клієнти
З клієнтів, не довго обираючи, поставив зі стандартного магазина застосунків Alpaca, ця "альпака" також є на GitHub:
Не довго обираючи, поставив зі стандартного магазина застосунків Alpaca, ця "альпака" також є на GitHub:
=> https://github.com/Jeffser/Alpaca
В іншому, тут що кому треба: можна прикрутити плагіни для VSCode, тощо.