Урок 5 із 7
Інженерія контексту
8 хв читання
Твій асистент бездоганно впорався із задачею десять повідомлень тому. А тепер ігнорує єдину інструкцію, що важила. Він не подурнішав — у нього закінчилося місце.
Вікно — це бюджет, а не пам'ять
Усе, що модель бачить на виклику — системний промпт, історія, знайдені документи, результати інструментів — ділить один фіксований простір: контекстне вікно, виміряне в токенах. Це не довготривала пам'ять; це стіл фіксованого розміру. Навали забагато — і найстаріше чи найменш важливе падає за край.
Контекстне вікно — це фіксований бюджет. Що ти в нього кладеш — і що лишаєш поза ним — вирішує, чим модель насправді може скористатися.
Куруй те, що заходить усередину
Це і є інженерія контексту: вирішувати на кожному виклику, що заслуговує на слот. Не звалюй усю базу — витягни ті кілька уривків, що важать. Не пересилай сотню повідомлень — стисни старі й лиши недавні ходи. Клади тривкі правила в системний промпт, щоб вони ніколи не спливали геть. Більше контексту — не краще; краще — правильний контекст.
Уміння не в тому, щоб напхати вікно, а в тому, щоб його курувати: правильні факти, стиснена історія, тривкі правила зверху й нічого, що просто палить бюджет.
Роздуте вікно коштує тобі двічі: воно повільніше й дорожче в обробці, і моделі гірше вловлюють голку, закопану в копиці. Ощадливий контекст часто б'є повний і за швидкістю, і за якістю.
Суть коротко
- —Усе, що модель бачить, ділить один фіксований токенний бюджет — контекстне вікно.
- —Це робочий простір, а не пам'ять: переповнення скидає найстаріше чи найменш доречне.
- —Куруй кожен виклик: витягуй доречне, стискай старі ходи, закріплюй тривкі правила.
- —Більше контексту — не краще: краще правильний контекст у межах бюджету.
Твій бот підтримки раз у раз забуває правило «ніколи не називати ціни» глибоко в довгих чатах. Що робити?
Продовжити в застосунку
Пройди весь курс «Створення AI-застосунків через API» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.