Урок 3 із 7

Інструменти для запуску

6 хв читання

Запуск моделі самостійно звучить як робота для інженерів. То як новачок насправді її запускає?

Один застосунок, три кроки

Ти нічого не будуєш — усе робить застосунок-раннер. Популярні — Ollama та LM Studio: обираєш модель, її один раз завантажують («pull»), а далі ти спілкуєшся з нею у звичайному вікні. LM Studio — повністю на кліках; Ollama — крихітний застосунок, до якого підключаються багато інших інструментів. Так чи інак: завантаж раз — і спілкуйся, без коду.

Застосунок-раннер (Ollama, LM Studio) зводить усе до простого: завантаж раз — і чат, без командного рядка.

Після завантаження — просто чат

Перше завантаження триває певний час і забирає місце на диску: модель — це великий файл. Далі все миттєво й офлайн — модель лежить на твоєму диску й відповідає просто з машини, без акаунта та з'єднання. Можна тримати кілька моделей і перемикатися між ними, як між застосунками.

Завантаж модель раз; далі вона працює офлайн, миттєво, прямо з диска.

Почни з малої моделі, щоб побачити, як це працює: завантажується швидко й іде плавно. Більшу завжди встигнеш завантажити, коли переконаєшся, що машина її тягне.