Урок 3 із 7
Усередині чорної скриньки
9 хв читання
Тобі, певно, доводилося чути, що AI працює на нейромережі з мільярдами параметрів. Звучить як запечатана скринька, що гуде магією. Але між тим, як ти натискаєш enter, і появою відповіді відбувається щось напрочуд впорядковане — і на це варто подивитися.
Спершу слова стають числами
Комп'ютер не вміє робити арифметику зі словом cat. Тож найперше, що робить модель, — перетворює кожен токен на довгий список чисел; уяви це як набір координат, що розміщує зміст токена у величезному просторі. Слова, вжиті схоже, опиняються поруч. Відтепер модель узагалі не жонглює словами — вона рахує на цих списках чисел.
Після цього першого кроку слів уже немає. Усе, що модель робить далі, — це арифметика над числами, аж до фінального кроку, де числа знову стають словом.
Потім — висока стопка шарів
Ці списки чисел мандрують угору крізь головну машину моделі: трансформер, високу стопку майже однакових шарів. Кожен шар читає поточні числа, трохи їх уточнює — загострюючи, що означає кожне слово саме в цьому реченні, — і передає покращену версію наступному шару. Справжні моделі складають їх десятками. Запусти нижче й подивись, як обчислення піднімається шар за шаром.
Жоден окремий шар не тримає відповіді. Розуміння вибудовується поступово — маленьке уточнення на кожному шарі — аж до самого верху.
Нагорі виходить здогад
На самій вершині модель бере фінальні числа останнього токена — того, що перед пропуском — і перетворює їх назад на слова: оцінку для кожного можливого наступного токена, яка стає ймовірністю. Керують усіма цими уточненнями параметри моделі — мільярди чисел, підлаштованих під час тренування. Саме це рахують, коли кажуть «модель на 70 мільярдів параметрів».
Уся чорна скринька одним рядком: слова → числа → уточнити, уточнити, уточнити → числа → наступне слово. Величезна за масштабом, але не магічна за формою.
Під капотом той перший крок слова-в-числа зветься embedding, а кожен шар насправді робить дві справи: дає токенам обмінятися інформацією між собою, а тоді думає про кожен токен окремо. Та перша справа — вирішити, які попередні слова кожне слово має слухати — це увага, і саме їй присвячено наступний урок.
Підсумок
- —Модель спершу перетворює кожен токен на список чисел — далі це вже суцільна арифметика, без слів
- —Ці числа піднімаються трансформером: високою стопкою шарів, кожен трохи їх уточнює
- —Нагорі числа останнього токена стають ймовірністю наступного слова — і всім цим керують мільярди натренованих параметрів
Модель описують як таку, що має 40 шарів. Що найкраще передає, що ці 40 шарів роблять із твоїм текстом?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.