Урок 5 із 6
Оцінювання донавченої моделі
6 хв читання
Твоя донавчена модель бере кожен промпт на демо. Викочувати? Ще ні: це ж ті самі промпти, на яких її й тренували.
Демо — це не доказ
Донавчання може зробити модель блискучою на прикладах, схожих на тренувальні дані, і тихцем гіршою на всьому іншому. Це й є перенавчання. Ретельно підібране демо це ховає. Єдиний чесний тест — відкладений набір для оцінювання: реальні випадки, яких модель у тренуванні жодного разу не бачила, оцінені за тим, що для тебе справді має значення.
Вражати на промптах, схожих на тренувальні, — ще не доказ. Суди донавчену модель за відкладеними даними, а не за прикладами, на яких вона вчилася.
Завжди порівнюй із базовою
Ніколи не оцінюй донавчену модель ізольовано: порівнюй її віч-на-віч із тією, з якої починаєш. Іноді донавчання допомагає цільовій задачі, але псує загальні здібності; іноді хороший промпт на базовій моделі дав би те саме й безкоштовно. Стеж за однією метрикою, за якою можна ловити регресію, і переганяй її після кожної зміни, щоб тиха регресія не прослизнула.
Питання не в тому, «чи хороша донавчена модель?». Питання інше: «чи краща вона за базову на важливих для мене задачах?» — і виміряти це треба на даних, яких вона не бачила.
Пильнуй регресії на задачах, під які ти модель не донавчаєш. Здобути цільову поведінку, втративши при цьому загальну компетентність, — поширений і легко пропущений провал.
Суть коротко
- —Оцінюй на відкладеному наборі, а не на демо, схожих на тренувальні.
- —Порівнюй віч-на-віч із базовою моделлю, а не ізольовано.
- —Переганяй одну фіксовану метрику після кожної зміни, щоб ловити тихі регресії.
Твоя донавчена модель бере демо-промпти. Який чесний наступний крок перед викочуванням?
Продовжити в застосунку
Пройди весь курс «Донавчання та кастомізація» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.