Урок 4 із 7
Дистильовані та квантовані
6 хв читання
Найкращі відкриті моделі величезні — набагато більші за пам'ять ноутбука. То як люди запускають їх удома?
Зменшити, щоб влізло
Справжня ціна моделі — це пам'ять: щоб працювати, вона має влізти в оперативну пам'ять машини. Повнорозмірні моделі завеликі для більшості ноутбуків. [Квантування](glossary://quantization) зменшує модель, зберігаючи її числа грубіше — уяви це як округлення, — урізаючи розмір у два-чотири рази з лише невеликим падінням якості. Споріднений прийом, [дистиляція](glossary://distillation), навчає малу модель копіювати велику. Так чи інак: менше, швидше, трохи менш чітко.
Квантування зберігає модель грубіше, тож вона зменшується, щоб влізти у твою машину — за невелику ціну якості.
Менше, швидше, достатньо добре
Стиснення — це те, чому локальний AI практичний. Велика модель, яка ніколи б не влізла, може впасти до чверті свого розміру й опинитися на звичайному ноутбуку, до того ж помітно швидше. Ти втрачаєш трохи точності, але для щоденного спілкування й чернеток це рідко помітно. Раннери завантажують ці стиснені версії за замовчуванням, тож здебільшого все просто працює.
Стиснена модель влазить і працює швидше; втрата якості достатньо мала, щоб знехтувати нею у щоденній роботі.
Якщо моделі бракує пам'яті або вона ледь повзе, візьми менший розмір чи сильніше стиснення, перш ніж здаватися — та сама модель у легшій формі часто йде нормально.
Як вмістити модель на машині
- —Щоб працювати, модель має влізти в пам'ять.
- —Квантування округлює її числа, щоб зменшити її у 2–4×.
- —Дистиляція навчає малу модель копіювати велику.
Що робить квантування з моделлю?
Продовжити в застосунку
Пройди весь курс «Відкритий та локальний AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.