Урок 5 із 6

Спостережуваність і трасування

7 хв читання

Користувач каже, що відповідь була хибна. Ти відкриваєш логи й бачиш... фінальну відповідь, і більше нічого. І що тепер?

Зазирни всередину одного запиту

У проді твоя система — це пайплайн: збери промпт, дістань контекст, виклич модель, можливо, виклич інструмент. Коли щось іде не так, сам лише фінальний вихід не скаже де. Трасування логує кожен стрибок одного запиту, щоб пройти його наскрізь і вказати крок, що зламався.

Траса фіксує кожен крок одного запиту: надісланий промпт, отриманий контекст, сирий вихід моделі. Коли він падає, видно, який крок пішов не так.

Прод — твоє найкраще джерело оцінювань

Траси потрібні не лише для дебагу — це золота жила кейсів для оцінювання. Кожен реальний збій, знайдений у трасі, — це кейс, якому місце в тест-сеті. Логуй входи, семпли трафік, вистежуй дивні — і перетворюй кожен справжній збій на новий тест. Твій набір оцінювань росте з реальності, а не з уяви.

Кожен збій у проді — безкоштовний кейс для оцінювання. Протрасуй його, зрозумій, потім додай у тест-сет, щоб він більше ніколи не регресив тихо.

Логуй відповідально. Траси захоплюють реальний ввід користувачів, тож редагуй секрети й персональні дані, перш ніж вони потраплять у твою систему логування — пайплайн спостережуваності не місце для витоку персональних даних.