Урок 2 із 8
Звідки AI бере свої знання
10 хв читання
Спитай AI майже про що завгодно — історію, кулінарію, правила шахів — і відповідь уже готова. Ніхто не сидів і не вписував у нього всі ці факти. То звідки він їх насправді дізнався?
Він навчився, читаючи
Такий AI будують так: показують йому величезний шмат інтернету — книжки, статті, сайти, розмови, код — і змушують грати на всьому цьому в одну гру: вгадай наступне слово (та сама гра з минулого уроку). Сховай наступне слово, дай йому передбачити, перевір, виправ, повтори — мільярди разів. Ніхто не дає йому списку фактів. Але щоб добре вгадувати наступне слово в реченні про Париж, доводиться увібрати те, що люди зазвичай кажуть про Париж. Знання осідають як побічний ефект того, що він стає вправним у грі.
Усе прочитане стискається в модель. Вона не зберігає сторінки — вона зберігає закономірності в них. Цей процес читання-і-стискання й називають тренуванням.
Зазирни всередину: мільйони крихітних ручок
То де ж насправді живуть ці закономірності? Уяви модель як стіну крихітних ручок — їх мільйони, і кожна просто число, яке тренування може трохи повернути. Прочитана сторінка підкручує цілу купу з них на волосину. Ніхто не виставляє їх руками — це робить читання. А здогад моделі про наступне слово ніде не зберігається: це суміш того, де зараз стоять усі ручки.
У цих ручок є назва: ваги, або параметри моделі — мільйони чисел, які підлаштовує тренування. Факт не лежить в одному місці; він розмазаний по всіх них одразу. Ось чому модель може щось знати, не маючи жодної сторінки, на яку можна вказати.
Ось чому стиснення втратне. Факт, який трапляється на тисячі сторінок, штовхає ручки в один бік тисячу разів, тож вони стають твердо виставленими — і відповідь повертається чіткою. Деталь, яку зустрів раз, ледь їх зрушує, а наступне прочитане підкручує їх назад — тож вона виходить блідою або зникає. Ручок просто недостатньо, щоб утримати кожну поодиноку деталь; усе мусить ділити місце.
Є й зворотний бік. Оскільки факти ділять ті самі ручки, модель може тихцем змішати два напівзгаданих в одну впевнено-звучну відповідь, якої ніколи не існувало, — перший натяк на те, чому вона вигадує, а це вже наступний урок.
Конспект, а не копія
Ось у чому заковика: готова модель набагато менша за все, що вона прочитала, — уяви величезну бібліотеку, ужату до одного кишенькового конспекту. А конспект тримає суть і викидає дрібні деталі. Тож спитай про щось поширене, що повторювалося на тисячі сторінок, — і відповідь буде чіткою. Спитай про крихітну деталь, що трапилася раз, в одному забутому закутку мережі, — і він почне плутатися: ця деталь не пережила стискання.
Модель — це lossy (втратний) конспект прочитаного: поширене, повторюване повертається чітко; рідкісні, згадані лише раз деталі повертаються розмито або зовсім зникають. Ужати весь інтернет у маленьку модель означає, що частина його просто губиться.
У знань є кінцева дата
І все це читання сталося одного разу, до певного моменту в часі. Усе, що після нього — учорашні заголовки, фільм, що вийшов минулого тижня, хто виграв учорашній матч, — у прочитане вже не потрапило. Тож AI може бути непохитним щодо минулого й геть порожнім щодо теперішнього — навіть про те, що решта з нас уже сприймає як належне.
Тягни вздовж шкали часу. За лінією відсічки AI зависає з порожнечею.
Мить, коли його читання спинилося, — це його межа знань. Спитай про будь-що після цієї дати — і AI просто там не був, щоб про це прочитати.
Деякі асистенти вміють ще й шукати в інтернеті прямо під час відповіді — це латає прогалину, але це вже AI тягнеться назовні по свіжу інформацію в моменті, окремо від того, що він засвоїв під час тренування.
Підсумок
- —AI навчається, читаючи величезний шмат інтернету й тренуючись на ньому вгадувати наступне слово
- —Усе це стискається в меншу модель — втратний конспект, що тримає поширені закономірності й губить рідкісні деталі
- —Його читання спинилося на межі знань, тож він не знає, що сталося після тієї дати
AI завершив тренування рік тому. Ти питаєш його, хто виграв турнір, що відбувся минулого тижня. Найімовірніший результат?
Продовжити в застосунку
Пройди весь курс «AI з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.