Урок 3 із 6
LLM як суддя
8 хв читання
Точний збіг працює для «2 + 2 = 4». А як автоматично оцінити підсумок, тон, корисну відповідь — де сотня різних відповідей однаково нормальні?
Оцінюй за рубрикою, а не за збігом рядків
Для відкритого виходу не порівняєш із одним еталонним рядком. Натомість ти даєш другій моделі — судді — відповідь плюс рубрику (критерії, яким має відповідати хороша відповідь) і просиш оцінити. Тепер «якість» — це те, що можна визначити, застосувати послідовно й прогнати на масштабі.
LLM-суддя оцінює вихід за критеріями, які пишеш ти. Рубрика і є твоїм визначенням хорошого — зміни її, і переможець зміниться.
Суддя — теж модель
Не давай судді карт-бланш. Це модель, тож на неї може вплинути довжина чи впевнене формулювання, і вона може бути погано відкаліброваною — упевненою в хибному вердикті. Тримай рубрику конкретною, звіряй суддю з власними мітками й обирай чіткі так/ні-критерії замість розпливчастого «оцінка якості 1–10».
Суддя масштабує твій смак; він його не замінює. Звір суддю з людськими мітками, перш ніж вірити його оцінкам.
Розпливчаста рубрика дає розпливчасті оцінки. «Це добре?» запрошує упередження судді; «Чи цитує політику? (так/ні)» дає те, чому можна довіряти й що можна перевірити.
Суть коротко
- —Використовуй модель-суддю для відкритого виходу без єдиної правильної відповіді.
- —Рубрика — це твоє визначення якості: конкретні, ідеально так/ні-критерії.
- —Суддя — це модель: він може бути упередженим чи погано відкаліброваним, тож звіряй його.
- —Вибірково звіряй оцінки судді зі своїми мітками, перш ніж на них покладатися.
Твій LLM-суддя ставить кожній відповіді впевнене «9/10», зокрема тим, які ти точно знаєш хибними. У чому виправлення?
Продовжити в застосунку
Пройди весь курс «Оцінювання та надійність» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.