Урок 3 із 6
Оцінювання як продуктова турбота
7 хв читання
Ти запускаєш блискучу нову версію моделі. Демо-відповіді розкішні. За тиждень підтримка палає — воно тихо погіршилося на нудних випадках, яких ніхто не показував у демо. Як ти можеш дізнатися про це заздалегідь?
Демо бреше; тестовий набір — ні
Демо показує найкращий випадок. Реальні користувачі натрапляють на нудні, незручні, граничні випадки — і саме там зміна може тихо все зламати. Рішення — оцінювання: фіксований набір реальних тестових випадків із відомими правильними відповідями, який ти проганяєш на продукті, щоб міряти якість, а не вгадувати з гарного на вигляд демо.
Оцінювання перетворює «відчувається краще» на цифру. Це те, як ти ловиш регресію — зміну, що тихо погіршує деякі випадки — раніше за твоїх користувачів.
Проганяй його на кожній зміні
Оцінювання виправдовують себе, коли вони автоматичні: щоразу, коли ти змінюєш модель, промпт чи налаштування, прожени тестовий набір і порівняй з попередньою версією. Якщо три випадки, що раніше проходили, тепер провалюються, ти бачиш це до запуску — а не від розлюченого клієнта. Оцінювання — це не інженерна забаганка; це ворота якості продукту.
Пропускай зміни крізь оцінювання, а не повз нього. «Демо виглядало чудово» — це не критерій релізу.
Тримай тестовий набір чесним. Наповни його реальними, складними, нудними випадками, які справді надсилають твої користувачі, — а не улесливими, що роблять бал гарним. Оцінювання, яке неможливо провалити, нічого тебе не навчить.
Суть коротко
- —Демо показує найкращий випадок; оцінювання міряє реальні.
- —Збери фіксований тестовий набір складних, реальних випадків із відомими правильними відповідями.
- —Проганяй його на кожній зміні й порівнюй версії, щоб рано ловити регресії.
Перед запуском нової версії моделі як ти дізнаєшся, що вона тихо не погіршилася?
Продовжити в застосунку
Пройди весь курс «Вимірювання та управління AI-продуктами» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.