Урок 2 із 6
Будуємо тест-сет
8 хв читання
У тебе є відчуття, що промпт хороший. Як перетворити це відчуття на щось, що можна довести, а потім доводити знову після кожної зміни?
Вхідні дані плюс очікування
Тест-сет — це просто список кейсів: реальний вхід плюс те, що має зробити хороша відповідь. Бери входи з реального використання — з тікетів підтримки, пошукових запитів, того дивного, що вводять користувачі. І для кожного запиши очікувану поведінку. Оце й увесь фокус.
Кожен кейс — це вхід у парі з очікуванням. Проженеш усі — отримаєш pass/fail на кожен кейс плюс одну сукупну оцінку.
Покривай збої, а не лише ідеальний сценарій
Свою користь дають негарні кейси: порожнє повідомлення, спроба промпт-ін'єкції, розлючений клієнт, хитрий випадок, який колись уже ламався. Тест-сет із самих легких перемог набирає високу оцінку й нічого тебе не вчить. Спрямовуй його туди, де система найпевніше зламається.
Тест-сет чесний рівно настільки, наскільки складні його найважчі кейси. Видобувай збої з проду й додавай кожен як новий кейс.
Тримай набір під контролем версій поруч із промптом. Коли кейс перекидається з pass на fail, git точно скаже, яка зміна це зробила.
Суть коротко
- —Кейс = реальний вхід плюс поведінка, яку має показати хороша відповідь.
- —Прогін набору дає pass/fail на кожен кейс і одну оцінку для відстеження.
- —Наповнюй його переважно важкими, негарними, схильними до збою входами, а не легкими перемогами.
- —З часом нарощуй набір із реальних збоїв у проді.
Твій тест-сет — це 20 легких питань, і він набирає 100%. Чому це має тебе насторожити?
Продовжити в застосунку
Пройди весь курс «Оцінювання та надійність» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.