Урок 1 із 7
Інтернет, стиснутий
10 хв читання
Інтернет ніколи не вмістився б у твій телефон. А от AI, який прочитав його величезний шматок, вміщується у файл, що завантажується за ніч. Майже все прочитане зникло — то як же того, що лишилось, вистачає, щоб тобі відповісти?
Неможливий файл
Уяви, скільки тексту в інтернеті: мільярди сторінок — більше, ніж хтось прочитав би за тисячу життів. А тепер уяви AI, який на ньому вчився. Його готова форма — модель — вражаюче мала поряд із усім цим: не склад сторінок, а компактний набір патернів. Вона явно не тримає копію всього прочитаного. Там просто немає місця.
Модель — це не тека з вебсторінками. Це стиснута версія того, що в них було: форма інформації, а не самі сторінки.
Одна гра, трильйон раундів
Як стиснути шматок інтернету в щось таке мале? Ти не даєш AI список фактів. Ти змушуєш його грати в одну крихітну гру, знову і знову: сховати наступне слово в реальному тексті й попросити вгадати. Показуєш «Столиця Франції — ___» — він вгадує; ти відкриваєш «Париж» — він трішки підправляє себе, щоб помилятися менше. Повтори на всьому тексті мільярди разів. Це безкінечне вгадай-перевір-виправ і є тренуванням.
Щоб і далі вигравати цю гру всюди, запам'ятовування не варіант — усе просто нікуди скласти. Єдиний вихід — знайти патерни, які породжують текст, і зберегти саме їх.
Що переживає стиснення
Тож модель зберігає патерни, а не сторінки — а патерн річ із втратами. Те, що інтернет повторює на тисячі сторінок, залишає глибокий, чіткий слід. Те, що згадали раз у забутому куточку, майже не лишає сліду. Натренуй AI нижче, а тоді спитай його про дві речі: одну поширену, одну маловідому. Дивись, яка повернеться чіткою.
Та сама мала модель — дві геть різні відповіді: поширений факт відновлюється чітко, рідкісна деталь повертається розмитою або зникає. Модель не зберігала жодного — вона відбудувала їх із патернів, і лише поширений лишив достатньо сильний патерн, щоб відбудуватися.
Стисни самостійно
Сцена вгорі натренувала модель за тебе. Тепер візьми стиснення у власні руки. Нижче — чотири факти, які модель прочитала: якісь бачені на мільйонах сторінок, якісь лише раз. Тягни модель меншою й дивись, як рідкісні факти розмиваються й випадають першими, а поширені лишаються чіткими. Тоді тапни факт, щоб він траплявся частіше, — і дивись, як втрачений повертається чітким. Те саме стиснення — але що ти згодовуєш частіше, те воно й лишає.
Тут нічого не зберігається, лише відбудовується. Стисни модель — і поріг, який факт має здолати, щоб вижити, зростає, тож найрідкісніші зникають першими. Факт рятує не його розмір, а те, як часто його бачили.
Стиснути — означає зрозуміти
Ось найважливіше. Щоб вгадати наступне слово в реченні про гравітацію, AI мусить увібрати трохи того, як гравітація працює. Щоб дописати рядок історії, він мусить стежити, хто чого хоче. Добре стиснення — це не просто коротше: це знайти правила під поверхнею, бо саме правила дають змогу відтворити деталі, які було викинуто. Добре стиснути інтернет і зрозуміти його — виявляється, майже одне й те саме.
Ось тихий двигун усього, що робить AI: змушена передбачати наступне слово майже без місця схитрувати, модель вимушено будує грубу робочу модель світу, який породив ці слова.
Під капотом ця стадія читання-і-стиснення має назву — pretraining — а те, що вона створює, зветься базовою моделлю. Решта курсу відкриває, як саме відбувається вгадування: як твої слова стають числами, що робить машина всередині й як вона перетворює все це назад на наступне слово.
Підсумок
- —AI не може зберегти інтернет — його модель занадто мала, тож тренування його стискає
- —Це стиснення — одна гра без кінця: вгадай наступне слово, перевір, виправ
- —Він зберігає патерни, а не сторінки — поширене лишається чітким, рідкісні деталі розмиваються — і пошук цих патернів є грубою формою розуміння
В інтернеті є два факти: один повторений на мільйонах сторінок, інший написаний раз у єдиному форумному дописі кількарічної давнини. Після тренування який AI відтворить точніше — і чому?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.