Урок 5 із 7
Інженерія контексту
8 хв читання
Твій асистент бездоганно впорався із задачею десять повідомлень тому. А тепер ігнорує єдину інструкцію, що важила. Він не подурнішав, просто скінчилося місце.
Вікно — це бюджет, а не пам'ять
Усе, що модель бачить на виклику — системний промпт, історію, знайдені документи, результати інструментів, — ділить один фіксований простір: контекстне вікно, що вимірюється в токенах. Це не довготривала пам'ять, а стіл фіксованого розміру. Навали забагато — і найстаріше чи найменш важливе падає за край.
Контекстне вікно — це фіксований бюджет. Що ти в нього кладеш, а що лишаєш осторонь, і вирішує, чим модель насправді зможе скористатися.
Куруй те, що потрапляє всередину
Це і є інженерія контексту: вирішувати на кожному виклику, що заслуговує на слот. Не звалюй усю базу — витягни лише ті кілька уривків, що справді важать. Не пересилай сотню повідомлень — стисни старі й лиши недавні ходи. Клади тривкі правила в системний промпт, щоб вони ніколи не випадали з вікна. Більше контексту — не краще: краще — правильний контекст.
Уміння не в тому, щоб напхати вікно, а в тому, щоб його курувати: правильні факти, стиснена історія, тривкі правила зверху й нічого, що просто палить бюджет.
Роздуте вікно коштує тобі двічі: обробляти його повільніше й дорожче, і моделі гірше вловлюють голку, загублену в копиці сіна. Ощадливий контекст часто б'є повний і за швидкістю, і за якістю.
Суть коротко
- —Усе, що модель бачить, ділить один фіксований токенний бюджет — контекстне вікно.
- —Це робочий простір, а не пам'ять: переповнення скидає найстаріше чи найменш доречне.
- —Куруй кожен виклик: витягуй доречне, стискай старі ходи, закріплюй тривкі правила.
- —Більше контексту — не краще: краще правильний контекст у межах бюджету.
Твій бот підтримки раз у раз забуває правило «ніколи не називати ціни» глибоко в довгих чатах. Що робити?
Продовжити в застосунку
Пройди весь курс «Створення AI-застосунків через API» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.