Урок 1 із 7
Інтернет, стиснутий
10 хв читання
Інтернет ніколи не вмістився б у твій телефон. А от AI, який прочитав його величезний шматок, вміщується у файл, що завантажиться за ніч. Майже все прочитане зникло. То як же того, що лишилось, вистачає, щоб тобі відповісти?
Неможливий файл
Уяви, скільки тексту в інтернеті: мільярди сторінок — більше, ніж хтось прочитав би за тисячу життів. А тепер уяви AI, який на ньому вчився. Його готова форма — модель — вражаюче мала поряд з усім цим: не склад сторінок, а компактний набір патернів. Копію всього прочитаного вона явно не тримає. Там просто немає місця.
Модель — це не тека з вебсторінками. Це стиснута версія того, що в них було: форма інформації, а не самі сторінки.
Одна гра, трильйон раундів
Як стиснути шматок інтернету в щось таке мале? Ти не даєш AI список фактів. Натомість змушуєш його грати в одну крихітну гру, знову і знову: сховати наступне слово в справжньому тексті й попросити вгадати. Показуєш «Столиця Франції — ___», він вгадує; відкриваєш «Париж» — і він трохи підправляється, щоб помилятися менше. Повтори так на всьому тексті мільярди разів. Це безкінечне вгадай-перевір-виправ і є тренуванням.
Щоб і далі вигравати цю гру всюди, запам'ятовування не варіант — усе просто нікуди скласти. Єдиний вихід — знайти патерни, які породжують текст, і зберегти саме їх.
Що переживає стиснення
Тож модель зберігає патерни, а не сторінки, і кожен патерн — річ із втратами. Те, що інтернет повторює на тисячах сторінок, залишає глибокий, чіткий слід. Те, що згадали раз у забутому куточку, майже не лишає сліду. Натренуй AI нижче, а тоді спитай його про дві речі: одну поширену, одну маловідому. Дивись, яка повернеться чіткою.
Та сама мала модель — дві геть різні відповіді: поширений факт відновлюється чітко, а рідкісна деталь повертається розмитою або взагалі зникає. Модель не зберігала жодної з них — відбудувала обидві з патернів, і лише поширений факт лишив достатньо сильний слід, щоб відбудуватися.
Стисни самостійно
Сцена вгорі натренувала модель за тебе. Тепер візьми стиснення у власні руки. Нижче — чотири факти, які модель прочитала: якісь бачені на мільйонах сторінок, якісь лише раз. Тягни модель до меншого розміру й дивись, як рідкісні факти розмиваються й випадають першими, а поширені лишаються чіткими. Тоді тапни факт, щоб він траплявся частіше, — і дивись, як втрачений повертається чітким. Стиснення те саме — просто лишається те, чого ти даєш більше.
Тут нічого не зберігається, лише відбудовується. Стисни модель — і поріг, який факт має здолати, щоб вижити, зростає, тож найрідкісніші зникають першими. Факт рятує не його розмір, а те, як часто його бачили.
Стиснути — означає зрозуміти
Ось найважливіше. Щоб вгадати наступне слово в реченні про гравітацію, AI мусить увібрати трохи того, як працює гравітація. Щоб дописати рядок оповідання, доводиться стежити, хто чого хоче. Добре стиснення — це не просто «коротше»: це знайти правила під поверхнею, бо саме правила дають змогу відтворити викинуті деталі. Добре стиснути інтернет і зрозуміти його — виявляється, майже одне й те саме.
Ось тихий двигун усього, що робить AI: коли треба передбачити наступне слово, а схитрувати майже нема як, модель мусить збудувати грубу робочу модель світу, що породив ці слова.
Під капотом ця стадія читання-і-стиснення має назву pretraining, а те, що вона створює, — це базова модель. Решта курсу показує, як саме відбувається вгадування: як твої слова стають числами, що робить машина всередині й як усе це перетворюється назад на наступне слово.
Підсумок
- —AI не може зберегти інтернет — його модель занадто мала, тож тренування його стискає
- —Це стиснення — одна гра без кінця: вгадай наступне слово, перевір, виправ
- —Зберігає патерни, а не сторінки: поширене лишається чітким, рідкісні деталі розмиваються, а пошук цих патернів — це вже груба форма розуміння
В інтернеті є два факти: один повторено на мільйонах сторінок, інший написано раз у єдиному форумному дописі кількарічної давнини. Після тренування який із них AI відтворить точніше — і чому?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.