Урок 5 із 7
Семантичний проти гібридного пошуку
6 хв читання
Користувач шукає код помилки «E-4021». Твій елегантний семантичний пошук повертає три уривки про помилки — і не ту єдину сторінку, де справді згадано E-4021. Що пішло не так?
Де семантичний пошук спотикається
Семантичний пошук — зіставлення за близькістю ембедингів — це те, що робить RAG розумним на відчуття: він знаходить зміст, а не лише слова. Але він може схибити на буквальному: точні коди, назви продуктів, ідентифікатори, рідкісні абревіатури. «E-4021» майже не має змісту, щоб його вкласти, тож він дрейфує до уривків, що просто про помилки.
Семантичний пошук зіставляє зміст — блискучий для формулювань, слабкий на точних токенах на кшталт кодів, ідентифікаторів і рідкісних назв.
Гібридний: зміст плюс ключові слова
Гібридний пошук запускає обидва: семантичний пошук за змістом і класичний пошук за ключовими словами для точних термінів, а потім змішує два ранжування. Ключова половина влучає в «E-4021»; семантична ловить «як зупинити збої». Разом вони покривають сліпі зони одне одного — ось чому більшість продакшн-RAG використовує гібридний, а не чисто семантичний.
Гібридний пошук змішує семантичне й ключове ранжування, тож ти ловиш і зміст, і точні терміни.
Поширений наступний крок — дістати ширший набір гібридним пошуком, а потім переранжувати найкращих кандидатів сильнішою моделлю, перш ніж передати найкращі кілька генератору.
Суть у формі
- —Семантичний пошук зіставляє зміст — чудовий для формулювань, слабкий на точних токенах.
- —Пошук за ключовими словами влучає в точні терміни, але проґавлює перефразування.
- —Гібридний пошук змішує обидва ранжування; більшість продакшн-RAG його використовує.
Користувачі шукають у твоїх документах і звичайними питаннями, і точними іменами функцій на кшталт `parseConfig()`. Яке налаштування пошуку обслуговує обидва найкраще?
Продовжити в застосунку
Пройди весь курс «RAG і пошук» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.