Урок 3 із 7
Конвеєр RAG
7 хв читання
У тебе довідник на 200 сторінок і одне питання. Ти не можеш вставити його весь у модель. То що ж насправді відбувається між документом і відповіддю?
Чотири кроки, щойно ти їх побачиш
Кожна RAG-система працює як один конвеєр. Розбити документи на уривки. Вкласти кожен фрагмент у вектор і зберегти. Коли надходить питання, вкласти запит і дістати кілька найближчих фрагментів. Потім згенерувати відповідь із цих фрагментів. Пройди це покроково — і вся штука перестане бути чорною скринькою.
Конвеєр RAG — це розбити → вкласти → дістати top-k → згенерувати. Ті самі чотири кроки, щоразу.
Top-k: лише найкращі кілька
Ти подаєш моделі не все — ти подаєш top-k: k найближчих до питання фрагментів, зазвичай невелику жменьку. Замало — і ти проґавиш відповідь; забагато — і ти поховаєш її в шумі (та ще й заплатиш за зайві токени). Вибір k і розміру фрагмента — це більшість налаштувань у реальній системі.
Пошук повертає top-k найближчих фрагментів — достатньо, щоб відповісти, і достатньо мало, щоб лишатися чітким і дешевим.
Розмір фрагмента — це справжній компроміс: малі фрагменти точно вказують на відповідь, але можуть втратити контекст; великі зберігають контекст, але розмивають збіг. Почни приблизно з абзацу й налаштовуй далі.
Суть у формі
- —Офлайн: розбити документи, вкласти кожен фрагмент і зберегти вектори.
- —У момент запиту: вкласти питання, дістати top-k найближчих фрагментів.
- —Згенерувати відповідь із цих фрагментів — обґрунтовану реальними уривками.
Твій RAG-бот дістає правильний фрагмент, але відповідь проґавлює ключову деталь, що була в абзаці якраз перед ним. Що найімовірніше це виправить?
Продовжити в застосунку
Пройди весь курс «RAG і пошук» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.