Урок 5 із 7
Квантування
7 хв читання
Велика відкрита модель потребує більше пам'яті, ніж є в більшості машин. То як люди запускають її на одному ігровому GPU — чи навіть на ноутбуці?
Округли числа
Модель — це мільйони параметрів — чисел, — збережених з певною точністю, часто по 16 бітів кожне. Квантування зберігає їх грубіше: 8 бітів, 4 біти, іноді менше. Це як округлення. Вдвічі зменш біти на вагу — і приблизно вдвічі зменшиш пам'ять, яку модель потребує, а ще й прискориш її, бо даних менше рухати. Підступ: округлиш надто сильно — і числа стануть такими грубими, що якість моделі попливе.
Квантування міняє точність на розмір і швидкість. Менше бітів на вагу означає меншу, швидшу модель — числа просто зберігаються грубіше.
Дешевий виграш, до певної межі
Несподіванка в тому, як мало якості губиться спочатку. Перехід з 16 бітів на 8 часто майже безкоштовний; 4 біти — там, де більшість зупиняється для локального запуску великих моделей — невелике, зазвичай прийнятне просідання. Штовхни до дуже низьких бітів — і падіння стає реальним. Тож квантування — стандартний трюк, щоб втиснути модель у менше залізо: бери найбільшу модель, яку можеш, потім квантуй, доки вона не влізе в пам'ять без надто великої шкоди якості.
Крива якості пласка, потім падає: 8 бітів майже без втрат, 4 біти — м'який компроміс, а дуже низькі біти ламають усе. Квантуй настільки, наскільки терпить задача — не далі.
Квантування міняє те, як зберігаються ваги, а не те, чого модель навчилася. Це не те саме, що менша модель, натренована з нуля — це та сама модель, стиснута. Перевіряй якість після квантування; наскільки можна опуститися, залежить від моделі й задачі.
Суть коротко
- —Ваги зберігаються з певною точністю (часто 16 бітів); квантування бере менше.
- —Менше бітів означає менше пам'яті й більше швидкості — так велика модель влізає на мале залізо.
- —Якість майже незаймана на 8 бітах, м'який компроміс на 4, і ламається, якщо зайти надто низько.
Ти хочеш запустити велику відкриту модель на одному споживчому GPU, куди вона інакше не влазить. Який стандартний хід?
Продовжити в застосунку
Пройди весь курс «Інференс і залізо» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.