Урок 4 із 6
Дистиляція
6 хв читання
Передова модель дає чудові відповіді, але коштує статки й працює повільно. Що, якби мала модель навчилась її імітувати?
Велика модель як учитель
Дистиляція перетворює дорогу модель на дешеву. Велика модель-учитель розмічає купу прикладів — запитання зі своїми найкращими відповідями — а мала модель-учень донавчається на цій розмітці. Учень вчиться відтворювати поведінку вчителя, партія за партією, аж поки не сяде близько до якості вчителя.
Учень ніколи не бачить людського ключа з відповідями — він вчиться з виходів учителя. У цьому й трюк: одна повільна дорога модель створює тренувальні дані для швидкої дешевої.
Більшість якості за частку ціни
Дистильований учень рідко збігається з учителем точно — він сідає близько. Але працює значно швидше й дешевше, а це часто й уся суть: його можна віддавати на масштабі, на пристрої чи під жорстким бюджетом затримки. Багато малих моделей, якими ти користуєшся щодня, дистильовані з більшого родича.
Дистиляція міняє невелику втрату якості на велику перемогу в ціні й швидкості. Коли віддаєш мільйони викликів, майже-вчительська якість за десяту частину ціни — вигідніша угода.
Дистиляція — ще одна причина хапатися за донавчання розважливо: іноді виграш не в розумнішій моделі, а в тій самій поведінці в дешевшій.
Суть коротко
- —Велика модель-учитель розмічає приклади; малий учень донавчається на них.
- —Учень сідає близько до якості вчителя — не ідентично, але близько.
- —Виграш — це швидкість і ціна: віддавай малу модель на масштабі.
На чому тренується модель-учень у дистиляції?
Продовжити в застосунку
Пройди весь курс «Донавчання та кастомізація» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.