Урок 2 із 6
Будуємо тест-сет
8 хв читання
У тебе є відчуття, що промпт хороший. Як перетворити відчуття на те, що можна довести — і доводити знову після кожної зміни?
Вхідні дані плюс очікування
Тест-сет — це просто список кейсів: реальний вхід плюс те, що має зробити хороша відповідь. Бери входи з реального використання — тікети підтримки, пошукові запити, дивні речі, які пишуть користувачі, — і запиши для кожного очікувану поведінку. Оце й увесь фокус.
Кожен кейс — це вхід у парі з очікуванням. Проженеш усі — отримаєш pass/fail на кожен кейс плюс одну сукупну оцінку.
Покривай збої, а не лише щасливий шлях
Кейси, що відпрацьовують своє, — це негарні: порожнє повідомлення, спроба промпт-ін'єкції, розлючений клієнт, хитрий край, що якось зламався. Тест-сет із самих легких перемог набирає високу оцінку й нічого тебе не вчить. Наводь його туди, де система найпевніше зламається.
Тест-сет чесний рівно настільки, наскільки складні його найважчі кейси. Видобувай збої з проду й додавай кожен як новий кейс.
Тримай набір під контролем версій поруч із промптом. Коли кейс перекидається з pass на fail, git точно скаже, яка зміна це зробила.
Суть коротко
- —Кейс = реальний вхід плюс поведінка, яку має показати хороша відповідь.
- —Прогін набору дає pass/fail на кожен кейс і одну оцінку для відстеження.
- —Зважуй його в бік важких, негарних, схильних до збою входів, а не легких перемог.
- —З часом нарощуй набір із реальних збоїв у проді.
Твій тест-сет — це 20 легких питань, і він набирає 100%. Чому це має тебе насторожити?
Продовжити в застосунку
Пройди весь курс «Оцінювання та надійність» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.