Урок 2 із 7
Ембединги
6 хв читання
«Скасувати мій план» і «як завершити мою підписку» майже не мають спільних слів. Для пошуку за ключовими словами вони чужі. То як пошук знає, що вони означають те саме?
Зміст як точка в просторі
Ембединг перетворює шматок тексту на список чисел — вектор — що працює як координати його змісту. Текст із близьким змістом опиняється в сусідніх місцях; непов'язаний — далеко. Модель вивчила цю карту, прочитавши величезні обсяги тексту.
Ембединг розміщує текст у просторі, де відстань означає схожість — близькі точки означають схожі речі.
Шукати за змістом, а не за словами
Коли кожен уривок — це точка, знайти релевантний текст — це просто знайти сусідні точки. «Скасувати мій план» опиняється прямо біля «завершити мою підписку» навіть без спільних слів — тож пошук зіставляє за змістом. Ось чому RAG може відповісти на питання, сформульоване зовсім не так, як документ, що на нього відповідає.
Найближчі точки = найближчі за змістом. Саме так пошук знаходить потрібний уривок, навіть коли слова не збігаються.
Справжні ембединги мають сотні чи тисячі вимірів, а не два — але інтуїція тримається точно: ближче означає більш схоже. 2D-картинка — це та сама карта, сплющена, щоб її можна було побачити.
Суть у формі
- —Ембединг — це вектор, координати змісту шматка тексту.
- —Близький зміст опиняється в сусідніх точках; непов'язаний текст — далеко.
- —Пошук за найближчими точками зіставляє зміст, а не точні слова.
Користувач питає «як мені повернути гроші?» А твої документи завжди кажуть лише «повернення коштів». Чому пошук на ембедингах усе одно це знаходить?
Продовжити в застосунку
Пройди весь курс «RAG і пошук» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.