Урок 2 із 7
Ембединги
6 хв читання
«Скасувати мій план» і «як завершити підписку» майже не мають спільних слів. Для пошуку за ключовими словами це геть чужі фрази. То звідки пошук знає, що вони про одне й те саме?
Зміст як точка в просторі
Ембединг перетворює шматок тексту на список чисел (вектор), що працює як координати його змісту. Текст із близьким змістом опиняється поряд, а непов'язаний — далеко. Модель вивчила цю карту, прочитавши величезні обсяги тексту.
Ембединг розміщує текст у просторі, де відстань означає схожість: що ближчі точки, то схожіші речі.
Шукати за змістом, а не за словами
Коли кожен уривок стає точкою, знайти релевантний текст — це просто знайти сусідні точки. «Скасувати мій план» опиняється впритул до «завершити підписку», хоч спільних слів немає, — тож пошук зіставляє за змістом. Ось чому RAG може відповісти на питання, сформульоване геть інакше, ніж документ, що дає відповідь.
Найближчі точки = найближчі за змістом. Саме так пошук знаходить потрібний уривок, навіть коли слова не збігаються.
Справжні ембединги мають сотні чи тисячі вимірів, а не два, але суть та сама: що ближче, то схожіше. Двовимірна картинка — це та сама карта, розплющена до площини, щоб її було видно.
Якщо коротко
- —Ембединг — це вектор, координати змісту шматка тексту.
- —Близький зміст опиняється в сусідніх точках; непов'язаний текст — далеко.
- —Пошук за найближчими точками зіставляє зміст, а не точні слова.
Користувач питає «як повернути гроші?», а в твоїх документах скрізь лише «повернення коштів». Чому пошук на ембедингах усе одно це знаходить?
Продовжити в застосунку
Пройди весь курс «RAG і пошук» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.