Урок 4 із 7
Запусти AI на своєму ноутбуці
6 хв читання
Хмара потрібна не завжди. З одним безкоштовним застосунком спроможний AI може працювати цілком на твоєму ноутбуці — без інтернету, без акаунту, без рахунку. У чому підступ?
Твоя машина, твоя модель
Застосунки на кшталт Ollama й LM Studio дають завантажити відкриту модель і запустити її локально. Усе відбувається на твоєму комп'ютері: твої слова ніколи не покидають машину, воно працює в літаку й нічого не коштує за питання. Компроміс — розмір: ноутбук не вмістить гігантські передові моделі, тож запускаєш меншу.
Розмір моделі — це насправді рахунок за пам'ять. Вона має вміститися в пам'ять твоєї машини, щоб працювати добре — а найбільші моделі просто не влазять у ноутбук.
Стисни, щоб влізло
Є хитрий трюк: квантування. Воно зберігає числа моделі з нижчою точністю — наче зберегти фото меншим розміром файлу — тож воно займає значно менше пам'яті й працює швидше. Ти втрачаєш трохи різкості, але квантована модель, що влазить, б'є ідеальну, яка взагалі не завантажиться.
Квантування міняє крихту якості на велике зменшення пам'яті. Саме воно робить так, що справжня модель влазить на звичайне залізо.
Локальні моделі менші, тож слабші за найкращі хмарні — більше помилок, менший діапазон. Ідеальні для приватних чернеток, офлайн-нотаток і експериментів; сягай по хмару, коли задача складна чи з високими ставками.
Підсумок
- —Ollama й LM Studio запускають відкриту модель на твоїй машині — офлайн, приватно, безкоштовно за використання.
- —Модель має вміститися в пам'ять; найбільші не влізуть у ноутбук.
- —Квантування стискає модель, щоб влізла, міняючи трохи якості на багато місця.
Велика модель не завантажується на твоєму ноутбуці — бракує пам'яті. Яке звичне рішення?
Продовжити в застосунку
Пройди весь курс «Який AI мені обрати?» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.