Системний і застосунковий дизайн

Один виклик API — легко. Надійний застосунок поверх моделі, що недетермінована, іноді помиляється й часом повільна, — ось справжня інженерія. З чого взагалі почати?

Стався до промптів як до конфігурації

Промпти й схеми, що формують твої виклики, — це поведінка твого застосунку, тож стався до них як до конфігу, який можна версіонувати, тестувати й змінювати без редеплою. Тримай системний промпт в одному місці, шаблонізуй змінні частини й запиши, який вигляд має «добра відповідь», щоб бачити, коли зміна робить гірше.

Проєктуй на те, що модель помиляється

Модель таки іноді зависне, поверне мотлох або нагалюцинує. Стійкий застосунок це передбачає: постав таймаути й ретраї, перевіряй кожну відповідь, перш ніж їй довіритися, і май фолбек — меншу модель, закешовану відповідь чи чесну помилку — на випадок, коли виклик падає. Тримай людину в петлі для дій із високими ставками й логуй входи й виходи, щоб можна було дебажити те, що справді сталося.

Суть коротко

• —Стався до промптів і схем як до версіонованої, тестованої конфігурації.
• —Припускай, що модель іноді помилятиметься — перевіряй кожну відповідь.
• —Вбудуй таймаути, ретраї й фолбек на випадок падіння виклику.
• —Логуй входи й виходи; тримай людину в петлі для дій із високими ставками.