Урок 4 із 7
Дистильовані та квантовані
6 хв читання
Найкращі відкриті моделі величезні — набагато більші за пам'ять ноутбука. То як люди запускають їх удома?
Зменшити, щоб влізло
Справжня ціна моделі — це пам'ять: щоб запуститися, модель має влізти в оперативну пам'ять машини. Повнорозмірні моделі завеликі для більшості ноутбуків. Квантування зменшує модель, зберігаючи її числа грубіше (уяви це як округлення) і зрізаючи розмір у два-чотири рази — з лише невеликою втратою якості. Споріднений прийом, дистиляція, навчає малу модель копіювати велику. Так чи інак: менше, швидше, трохи менш чітко.
Квантування зберігає модель грубіше, тож вона стискається й влазить у твою машину — невеликою ціною якості.
Менше, швидше, достатньо добре
Саме завдяки стисненню локальний AI стає практичним. Велика модель, яка інакше нізащо б не влізла, може зменшитися до чверті свого розміру й поміститися на звичайному ноутбуку — ще й працювати помітно швидше. Трохи точності втрачаєш, але для щоденного спілкування й чернеток це рідко помітно. Раннери завантажують саме такі стиснені версії за замовчуванням, тож здебільшого все працює одразу.
Стиснена модель влазить і працює швидше; втрата якості достатньо мала, щоб знехтувати нею у щоденній роботі.
Якщо моделі бракує пам'яті або вона ледь повзе, візьми менший розмір чи сильніше стиснення, перш ніж здаватися — та сама модель у легшій формі часто йде нормально.
Як вмістити модель на машині
- —Щоб працювати, модель має влізти в пам'ять.
- —Квантування округлює її числа, щоб зменшити її у 2–4×.
- —Дистиляція навчає малу модель копіювати велику.
Що робить квантування з моделлю?
Продовжити в застосунку
Пройди весь курс «Відкритий та локальний AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.