Урок 2 із 7

Кодуємо увагу

9 хв читання

Зміни одне слово в кінці речення — і «воно» раптом означає інше. Як код змушує токен читати сусідів?

Єдиний механізм, що має значення

Увага — це серце всієї моделі, і простіша, ніж здається. Для кожного токена з його ембединга ти рахуєш три вектори: запит (що я шукаю?), ключ (що я пропоную?) і значення (що передам далі). Токен порівнює свій запит із кожним ранішим ключем, і що ближчий збіг, то більше того значення вбирає.

Значення токена не застигле: його намішано з ранніх токенів, на які він звертає увагу. Це змішування і є увага.

Самоувага, а потім багато голів

Оскільки кожен токен звертає увагу на інші в тій самій послідовності, це й є самоувага. Кілька таких запускаєш паралельно — це голови уваги: одна стежить за граматикою, інша — за тим, хто що зробив. А майбутнє маскуєш: токен може дивитися лише назад, ніколи — на слова, які має передбачити.

Кілька голів читають різні зв'язки водночас; маска тримає модель чесною, ховаючи те, що йде далі.

У коді Рашки це маленький клас: три лінійні шари для запиту, ключа й значення, масштабований скалярний добуток, причинна маска, а тоді складаєш голови. Цей клас, повторений, — це майже весь GPT.