Урок 3 із 7
Усередині чорної скриньки
9 хв читання
Тобі, певно, доводилося чути, що AI працює на нейромережі з мільярдами параметрів. Звучить як запечатана скринька, що гуде магією. Але між тим, як ти натискаєш enter, і появою відповіді відбувається щось напрочуд впорядковане — і на це варто подивитися.
Спершу слова стають числами
Комп'ютер не вміє рахувати зі словом cat. Тож найперше, що робить модель, — перетворює кожен токен на довгий список чисел; уяви це як набір координат, що розміщує зміст токена у величезному просторі. Слова, вжиті схоже, опиняються поруч. Відтепер модель узагалі не жонглює словами — лише рахує на цих списках чисел.
Після цього першого кроку слів уже немає. Усе, що модель робить далі, — це арифметика над числами, аж до фінального кроку, де числа знову стають словом.
Потім — висока стопка шарів
Ці списки чисел мандрують угору крізь головну машину моделі: трансформер, високу стопку майже однакових шарів. Кожен шар читає поточні числа й трохи їх уточнює, загострюючи, що означає кожне слово саме в цьому реченні, а тоді передає покращену версію наступному. Справжні моделі складають їх десятками. Запусти нижче й подивись, як обчислення піднімається шар за шаром.
Жоден окремий шар не тримає відповіді. Розуміння вибудовується поступово: маленьке уточнення на кожному шарі, аж до самого верху.
Нагорі виходить здогад
На самій вершині модель бере фінальні числа останнього токена (того, що стоїть перед пропуском) і перетворює їх назад на слова: оцінку для кожного можливого наступного токена, яка стає ймовірністю. Керують усіма цими уточненнями параметри моделі — мільярди чисел, підлаштованих під час тренування. Саме їх рахують, коли кажуть «модель на 70 мільярдів параметрів».
Уся чорна скринька одним рядком: слова → числа → уточнити, уточнити, уточнити → числа → наступне слово. Величезна за масштабом, але не магічна за формою.
Під капотом той перший крок слова-в-числа зветься embedding, а кожен шар насправді робить дві справи: дає токенам обмінятися інформацією між собою, а тоді обмірковує кожен токен окремо. Та перша справа (вирішити, які попередні слова кожне слово має слухати) — це увага, і саме їй присвячено наступний урок.
Підсумок
- —Модель спершу перетворює кожен токен на список чисел — далі це вже суцільна арифметика, без слів
- —Ці числа піднімаються трансформером — високою стопкою шарів, де кожен трохи їх уточнює
- —Нагорі числа останнього токена стають ймовірністю наступного слова — і всім цим керують мільярди натренованих параметрів
Про модель кажуть, що вона має 40 шарів. Що найкраще описує те, що роблять ці 40 шарів із твоїм текстом?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.