From 51d99cf57da3a3520ec07f094e22a7978a88ce7e Mon Sep 17 00:00:00 2001
From: postscriptum <postscriptum@gemlog>
Date: Thu, 6 Nov 2025 13:50:19 +0200
Subject: [PATCH] =?UTF-8?q?add=20`=D0=9F=D0=B5=D1=80=D1=88=D0=B8=D0=B9=20?=
 =?UTF-8?q?=D0=B4=D0=BE=D1=81=D0=B2=D1=96=D0=B4=20=D0=B7=20Ollama=20/=20LL?=
 =?UTF-8?q?M`?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 .../uk/first-experience-with-ollama-llm.gmi   | 63 +++++++++++++++++++
 public/uk/index.gmi                           |  1 +
 2 files changed, 64 insertions(+)
 create mode 100644 public/uk/first-experience-with-ollama-llm.gmi

diff --git a/public/uk/first-experience-with-ollama-llm.gmi b/public/uk/first-experience-with-ollama-llm.gmi
new file mode 100644
index 0000000..9356414
--- /dev/null
+++ b/public/uk/first-experience-with-ollama-llm.gmi
@@ -0,0 +1,63 @@
+# Перший досвід з Ollama / LLM
+
+Значно відстаю від загальних трендів і хайпу довкола ШІ, хоча й давно вже користуюсь цим інструментом, зокрема - засобами Duck.ai
+
+Тільки зараз знайшов час поставити собі відкритий сервер Ollama локально, здебільшого - з метою приватного користування, без відправлення хоч й анонімних, але цілком очевидних запитів на сторонні сервери. Нижче коротенький "дамп" з цього досвіду, може комусь також згодиться.
+
+## Встановлення Ollama
+
+Завантажити сервер можна з офіційного сайту:
+=> https://ollama.com
+
+Є також останні релізи в репозиторії на GitHub:
+=> https://github.com/ollama/ollama/releases
+
+Зібрати цей сервер з сорсу в мене не вийшло через помилку Vulkan. Наскільки я зрозумів (з попереднього досвіду встановлення графічного редактора Zed) його API не підтримується моїм старим залізом (iMac 2011)
+
+Вперше, я спробував поставити сервер Ollama з репозиторію Fedora:
+
+``` bash
+dnf install ollama
+```
+
+Він працює, але модель gtp-oss не запустилась через баг з датою, дуже дивно, що в репозиторії (Fedora 43) й досі якась допотопна версія цього серверу:
+=> https://github.com/ollama/ollama/issues/11680
+
+Отже, збирайтесь одразу або з сорсу (якщо зможете) або з бінарників останніх релізів на GitHub - там по суті треба розпакувати теку та виконати бінарник:
+
+``` bash
+bin/ollama --help
+```
+* або поставити його в систему командою `install`
+
+## Моделі LLM
+
+Після встановлення сервера, потрібно завантажити мовну модель. Вони бувають різні, для кожної задачі - своя спеціалізація, така спеціалізація може бути "універсальною". Для коду (в рамках тестування на Duck.ai) мені сподобались Claude Haiku та загальний GPT-4o mini. Обрати популярні моделі можна зі списку на офіційному сайті:
+=> https://ollama.com/search
+* інші можна скачати на їх офіційних сайтах
+
+Для тестів я обрав:
+* Mistral (~4Gb)
+* GPT-OSS - ~14Gb або 65Gb (в залежності від кількості "нейронів" та конкретної версії)
+
+Встановлюються і запускаються моделі після запуску сервера Ollama:
+
+``` bash
+ollama serve
+```
+
+Потім вказується потрібна модель:
+
+``` bash
+ollama run mistral
+```
+* якщо модель відсутня, її буде автоматично завантажено з репозиторію
+
+Тут варто зауважити, що у вас повинно бути достатньо оперативної пам'яті, інакше ймовірне її переповнення з подальшим завісанням системи. Скільки для якої моделі потрібно пам'яті - дивіться в специфікації. Скажу тільки що моїх 12 Gb + 8 Gb swap достатньо лише для Mistral. Наскільки розумію, розмір пам'яті приблизно дорівнюватиме розміру моделі. Так собі думаю, що теоретично можна організувати swap-файл на SSD, звісно буде не дуже швидко і не дуже "гуманно" для цього типу носія, але якось буде.
+
+## Клієнти
+
+З клієнтів я не довго думав і поставив зі стандартного магазина застосунків Alpaca, ця "альпака" також є на GitHub:
+=> https://github.com/Jeffser/Alpaca
+
+В іншому, тут що кому треба: можна прикрутити плагіни для VSCode, тощо.
\ No newline at end of file
diff --git a/public/uk/index.gmi b/public/uk/index.gmi
index b91823f..afc7d5f 100644
--- a/public/uk/index.gmi
+++ b/public/uk/index.gmi
@@ -12,6 +12,7 @@
 
 ### Нотатки
 
+=> first-experience-with-ollama-llm.gmi 2025-11-06 Перший досвід з Ollama / LLM
 => znc-irc-bouncer-setup.gmi 2025-11-05 Встановлення та налаштування IRC-баунсера ZNC в Linux
 => cosmic-desktop-test-drive-on-fedora.gmi 2025-11-04 Тест-драйв COSMIC на Fedora
 => enhancing-privacy-in-linux-apps.gmi 2025-11-03 Підвищення рівня приватності в застосунках Linux