Урок 5 із 6
Оцінювання донавченої моделі
6 хв читання
Твоя донавчена модель бере кожен промпт на демо. Викочувати? Ще ні — це були ті самі промпти, на яких її тренували.
Демо — це не доказ
Донавчання може зробити модель блискучою на прикладах, схожих на тренувальні дані, і тихо гіршою на всьому іншому — це перенавчання. Ретельно підібране демо це ховає. Єдиний чесний тест — відкладений набір для оцінювання: реальні випадки, яких модель ніколи не бачила в тренуванні, оцінені за тим, що тобі справді важливо.
Вражати на схожих-на-тренувальні промптах не доводить нічого. Суди донавчену модель за відкладеними даними, а не за прикладами, з яких вона вчилася.
Завжди порівнюй із базовою
Ніколи не оцінюй донавчену модель ізольовано — порівнюй її віч-на-віч із тією, з якої ти починаєш. Іноді донавчання допомагає цільовій задачі, але псує загальні здібності; іноді хороший промпт на базовій моделі дав би те саме безкоштовно. Відстежуй одну метрику, за якою можна ловити регресію, і переганяй її на кожній зміні, щоб тиха регресія не прослизнула.
Питання не «чи хороша донавчена модель?». Воно — «чи вона краща за базову на задачах, що мені важливі?» — виміряно на даних, яких вона не бачила.
Пильнуй регресії на задачах, які ти не донавчаєш. Здобути цільову поведінку, втративши загальну компетентність, — поширений і легко пропущений провал.
Суть коротко
- —Оцінюй на відкладеному наборі, ніколи на схожих-на-тренувальні демо.
- —Порівнюй віч-на-віч із базовою моделлю, а не ізольовано.
- —Переганяй одну фіксовану метрику на кожній зміні, щоб ловити тихі регресії.
Твоя донавчена модель бере демо-промпти. Який чесний наступний крок перед викочуванням?
Продовжити в застосунку
Пройди весь курс «Донавчання та кастомізація» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.