Урок 5 із 7
Семантичний проти гібридного пошуку
6 хв читання
Користувач шукає код помилки «E-4021». Твій елегантний семантичний пошук повертає три уривки про помилки, але не ту єдину сторінку, де насправді згадано E-4021. Що пішло не так?
Де семантичний пошук спотикається
Семантичний пошук зіставляє тексти за близькістю ембедингів — саме завдяки йому RAG здається розумним: шукає зміст, а не лише слова. Але з буквальним він може схибити: точні коди, назви продуктів, ідентифікатори, рідкісні абревіатури. У «E-4021» майже немає змісту, який можна вкласти, тож пошук дрейфує до уривків, що просто про помилки.
Семантичний пошук зіставляє зміст — блискучий для формулювань, слабкий на точних токенах на кшталт кодів, ідентифікаторів і рідкісних назв.
Гібридний: зміст плюс ключові слова
Гібридний пошук запускає обидва: семантичний за змістом і класичний за ключовими словами для точних термінів, а тоді змішує два ранжування. Ключова половина влучає в «E-4021», семантична ловить «як зупинити збої». Разом вони закривають сліпі зони одна одної — ось чому більшість продакшн-RAG бере гібридний, а не чисто семантичний.
Гібридний пошук змішує семантичне й ключове ранжування, тож ти ловиш і зміст, і точні терміни.
Поширений наступний крок — дістати ширший набір гібридним пошуком, а потім переранжувати найкращих кандидатів сильнішою моделлю, перш ніж передати найкращі кілька генератору.
Якщо коротко
- —Семантичний пошук зіставляє зміст — чудовий для формулювань, слабкий на точних токенах.
- —Пошук за ключовими словами влучає в точні терміни, але проґавлює перефразування.
- —Гібридний пошук змішує обидва ранжування; більшість продакшн-RAG його використовує.
Користувачі шукають у твоїх документах і звичайними питаннями, і точними іменами функцій на кшталт `parseConfig()`. Яке налаштування пошуку впорається з обома найкраще?
Продовжити в застосунку
Пройди весь курс «RAG і пошук» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.