Урок 7 із 7
Запобіжники, безпека агента і чому агенти падають у проді
8 хв читання
У демо агент виглядає геніально. У проді пише не тому клієнту, зациклюється назавжди і за ніч спалює токени. Що пішло не так?
Тримай людину там, де ризиковано
Єдиний найдієвіший запобіжник — людина в циклі на незворотних діях. Хай агент сам виконує малоризикові кроки, що лише читають дані, — але будь-який крок, який витрачає гроші, надсилає повідомлення чи видаляє дані, спиняється й чекає на явне схвалення. Останнє «так» на діях, які не відкотиш, лишається за тобою.
Автономність — це регулятор, а не вимикач. Зворотне авто-схвалюй, незворотне шлюзуй. Людська перевірка на ризикованих діях відвертає більшість дорогих помилок.
Чому агенти падають у проді
Окрім ризикованої дії, є класичні збої: нескінченні цикли (немає ліміту ітерацій), некерована вартість (немає бюджету на токени чи гроші), накопичення помилок (хибний крок годує наступний) та впровадження в промпт (результат інструмента містить інструкції, яких агент слухається). Жоден не вилазить у демо, де все йде гладко. Зате всі вилазять на масштабі.
Агенти падають на шляхах, яких демо ніколи не сягає: цикли, вартість, каскади помилок, впровадження. Готовність до проду — це загнати їх у рамки (ліміти, бюджети, валідація, найменші права), а не кращий промпт.
Дай агенту найменші потрібні права, ніколи не повний доступ. Результат інструмента — недовірений ввід: текст, витягнутий зі сторінки чи листа, може нести впроваджену інструкцію, тож жорстко обмежуй облікові дані й перевіряй кожен вихід інструмента, перш ніж діяти за ним.
Суть коротко
- —Людина в циклі на незворотних діях — запобіжник із найбільшим важелем.
- —Обмежуй ітерації й задай бюджет на токени / гроші, щоб спинити цикли й некеровані витрати.
- —Вважай кожен результат інструмента недовіреним — захищайся від впровадження в промпт.
- —Давай найменші права; перевіряй виходи перед дією; логуй усе.
Твій агент може оформлювати повернення коштів. Як найбезпечніше його релізнути?
Продовжити в застосунку
Пройди весь курс «AI-агенти в продакшені» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.