Урок 7 із 7
Запобіжники, безпека агента і чому агенти падають у проді
8 хв читання
У демо агент виглядає геніально. У проді він пише не тому клієнту, зациклюється назавжди і за ніч спалює токени. Що пішло не так?
Тримай людину на ризикованому краї
Єдиний найдієвіший запобіжник: людина в циклі на незворотних діях. Хай агент сам виконує лише-читання, малоризикові кроки — але будь-який крок, що витрачає гроші, надсилає повідомлення чи видаляє дані, ставиться на паузу для явного схвалення. Ти тримаєш «так» на діях, які не відкотиш.
Автономність — це регулятор, а не вимикач. Авто-схвалюй зворотне, шлюзуй незворотне. Людський чекпоінт на ризикованих діях відвертає більшість дорогих помилок.
Чому агенти падають у проді
Окрім ризикованої дії, класичні режими збою: нескінченні цикли (немає ліміту ітерацій), некерована вартість (немає бюджету на токени чи гроші), накопичення помилок (хибний крок годує наступний) та впровадження в промпт (результат інструмента містить інструкції, яких агент слухається). Жоден не проявляється в демо зі щасливим шляхом. Усі проявляються на масштабі.
Агенти падають на шляхах, яких демо ніколи не сягає: цикли, вартість, каскади помилок, впровадження. Готовність до проду — це обмеження цього (ліміти, бюджети, валідація, найменші права), а не кращий промпт.
Дай агенту найменші потрібні права, ніколи не повний доступ. Результат інструмента — недовірений ввід: текст, витягнутий зі сторінки чи листа, може нести впроваджену інструкцію, тож жорстко обмежуй облікові дані й перевіряй кожен вихід інструмента, перш ніж діяти за ним.
Суть коротко
- —Людина в циклі на незворотних діях — запобіжник із найбільшим важелем.
- —Обмежуй ітерації й задай бюджет на токени / гроші, щоб спинити цикли й некеровані витрати.
- —Вважай кожен результат інструмента недовіреним — захищайся від впровадження в промпт.
- —Давай найменші права; перевіряй виходи перед дією; логуй усе.
Твій агент може оформлювати повернення коштів. Як найбезпечніше його релізнути?
Продовжити в застосунку
Пройди весь курс «AI-агенти в продакшені» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.