Урок 2 із 8
Звідки AI бере свої знання
10 хв читання
Спитай AI майже про що завгодно — історію, кулінарію, правила шахів — і відповідь уже готова. Ніхто не сидів і не вписував у нього всі ці факти. То звідки він їх насправді дізнався?
Він навчився, читаючи
Такий AI створюють так: показують йому величезний шмат інтернету — книжки, статті, сайти, розмови, код — і змушують грати на всьому цьому в одну гру: вгадай наступне слово (та сама гра з минулого уроку). Сховай наступне слово, дай йому передбачити, перевір, виправ, повтори — мільярди разів. Ніхто не дає йому списку фактів. Але щоб добре вгадувати наступне слово в реченні про Париж, доводиться увібрати те, що люди зазвичай кажуть про Париж. Знання осідають як побічний ефект — просто тому, що він стає вправним у грі.
Усе прочитане стискається в модель. Вона зберігає не сторінки, а закономірності в них. Цей процес читання-і-стискання й називають тренуванням.
Зазирни всередину: мільйони крихітних ручок
То де ж насправді живуть ці закономірності? Уяви модель як стіну крихітних ручок — їх мільйони, і кожна просто число, яке тренування може трохи повернути. Прочитана сторінка підкручує цілу купу з них на волосину. Ніхто не виставляє їх руками — це робить читання. А здогад моделі про наступне слово ніде не зберігається: це суміш того, де зараз стоять усі ручки.
У цих ручок є назва: ваги, або параметри моделі — мільйони чисел, які підлаштовує тренування. Факт не лежить в одному місці; він розмазаний по всіх них одразу. Ось чому модель може щось знати, не маючи жодної сторінки, на яку можна вказати.
Ось чому стиснення втратне. Факт, який трапляється на тисячі сторінок, штовхає ручки в один бік тисячу разів, тож вони стають твердо на місце — і відповідь повертається чіткою. Деталь, що трапилася лише раз, ледь їх зрушує, а наступне прочитане підкручує їх назад — тож вона виходить блідою або зникає зовсім. Ручок просто замало, щоб утримати кожну поодиноку деталь: усе мусить ділити місце.
Є й зворотний бік. Оскільки факти ділять ті самі ручки, модель може тихцем змішати два напівзгаданих факти в одну відповідь, що звучить упевнено, хоч такої ніколи не існувало, — перший натяк на те, чому вона вигадує; а це вже наступний урок.
Конспект, а не копія
Ось у чому заковика: готова модель набагато менша за все, що вона прочитала, — уяви величезну бібліотеку, ужату до одного кишенькового конспекту. А конспект тримає суть і викидає дрібні деталі. Тож спитай про щось поширене, що повторювалося на тисячі сторінок, — і відповідь буде чіткою. Спитай про крихітну деталь, що трапилася раз, в одному забутому закутку мережі, — і він почне плутатися: ця деталь не пережила стискання.
Модель — це втратний конспект прочитаного: поширене й повторюване повертається чітко, а рідкісні деталі, згадані лише раз, — розмито або зовсім зникають. Ужати весь інтернет у маленьку модель означає, що частина його просто пропадає.
У знань є кінцева дата
І все це читання сталося одного разу, до певного моменту в часі. Усе, що після нього — учорашні заголовки, фільм, що вийшов минулого тижня, хто виграв учорашній матч, — у прочитане вже не потрапило. Тож AI може бути непохитним щодо минулого й геть порожнім щодо теперішнього — навіть про те, що решта з нас уже сприймає як належне.
Мить, коли його читання спинилося, — це його межа знань. Про все, що сталося після цієї дати, AI просто не читав.
Деякі асистенти вміють ще й шукати в інтернеті прямо під час відповіді. Прогалину це латає, але тут AI тягнеться назовні по свіжу інформацію в моменті — окремо від того, що засвоїв під час тренування.
Підсумок
- —AI навчається, читаючи величезний шмат інтернету й тренуючись на ньому вгадувати наступне слово
- —Усе це стискається в меншу модель — втратний конспект, що тримає поширені закономірності й губить рідкісні деталі
- —Його читання спинилося на межі знань, тож він не знає, що сталося після тієї дати
AI завершив тренування рік тому. Ти питаєш його, хто виграв турнір, що відбувся минулого тижня. Найімовірніший результат?
Продовжити в застосунку
Пройди весь курс «AI з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.