Урок 3 із 7

Інструменти для запуску

6 хв читання

Запуск моделі самостійно звучить як робота для інженерів. То як новачок насправді її запускає?

Один застосунок, три кроки

Ти нічого не будуєш — усе робить застосунок-раннер. Популярні — Ollama та LM Studio: ти обираєш модель, вони один раз завантажують ('pull') її, а далі ти спілкуєшся з нею у звичайному вікні. LM Studio повністю на кліках; Ollama — крихітний застосунок, до якого підключаються багато інших інструментів. Так чи інак: завантаж раз — і спілкуйся, без коду.

Застосунок-раннер (Ollama, LM Studio) робить це завантаженням раз, а тоді чатом — без командного рядка.

Після завантаження — просто чат

Перше завантаження триває певний час і забирає місце на диску — модель це великий файл. Після цього все миттєво й офлайн: модель лежить на твоєму диску і відповідає прямо з машини, без акаунта та з'єднання. Можна тримати кілька моделей і перемикатися між ними так само, як між застосунками.

Завантаж модель раз; далі вона працює офлайн, миттєво, прямо з диска.

Почни з малої моделі, щоб побачити, як це працює — вона швидко завантажується і плавно йде. Більшу завжди можна завантажити, коли переконаєшся, що машина її тягне.