Урок 4 із 7
Запусти AI на своєму ноутбуці
6 хв читання
Хмара потрібна не завжди. З одним безкоштовним застосунком цілком спроможний AI працюватиме прямо на твоєму ноутбуці: без інтернету, без акаунту, без рахунку. У чому підступ?
Твоя машина, твоя модель
Застосунки на кшталт Ollama й LM Studio дають завантажити відкриту модель і запустити її локально. Усе відбувається на твоєму комп'ютері: слова ніколи не покидають машину, працює навіть у літаку, а кожне питання безкоштовне. Плата за це — розмір: ноутбук не вмістить гігантські передові моделі, тож запускаєш меншу.
Розмір моделі — це, власне, рахунок за пам'ять. Модель має вміститися в пам'ять машини, щоб працювати як слід, а найбільші в ноутбук просто не влазять.
Стисни, щоб влізло
Є хитрий трюк — квантування. Воно зберігає числа моделі з нижчою точністю, наче фото, збережене меншим файлом, тож і пам'яті займає значно менше, і працює швидше. Так, трохи різкості втрачаєш, але квантована модель, що влазить, поб'є ідеальну, яка взагалі не завантажиться.
Квантування міняє крихту якості на велике зменшення пам'яті. Саме завдяки йому справжня модель влазить на звичайне залізо.
Локальні моделі менші, тож і слабші за найкращі хмарні: більше помилок, вужчий діапазон. Вони ідеальні для приватних чернеток, офлайн-нотаток і експериментів, а по хмару сягай, коли задача складна чи з високими ставками.
Підсумок
- —Ollama й LM Studio запускають відкриту модель на твоїй машині: офлайн, приватно, безкоштовно за використання.
- —Модель має вміститися в пам'ять; найбільші не влізуть у ноутбук.
- —Квантування стискає модель, щоб влізла, міняючи трохи якості на багато місця.
Велика модель не завантажується на твоєму ноутбуці: бракує пам'яті. Яке звичне рішення?
Продовжити в застосунку
Пройди весь курс «Який AI мені обрати?» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.