Урок 6 із 7
Більший — передбачувано кращий
9 хв читання
Крихітний AI і велетенський працюють на тій самій конструкції — у велетня просто всього більше. І це одна з найдивніших істин сучасного AI: щоб зробити його розумнішим, часто не потрібна хитріша ідея. Ти просто робиш його більшим.
Більший — і передбачувано
Дослідники помітили щось майже моторошне. Коли масштабуєш модель угору (більше параметрів, більше тренувального тексту, більше обчислювальної потужності), те, наскільки вона помиляється, спадає плавною, передбачуваною кривою. І не стрибками навмання: крива настільки рівна, що можна спрогнозувати, наскільки доброю вийде модель, ще до того, як її збудували. Потягни розмір нижче й дивись, як похибка сповзає цією кривою.
Масштаб купує точність уздовж передбачуваної кривої. Саме тому можна ще до витрат вирішити, що більшу модель варто будувати: приріст прогнозований.
Дві ручки, а не одна
«Більший» звучить як один регулятор. Це не так. Зробити модель більшою — це дві ручки, що мають рухатися разом: розмір моделі й обсяг тексту, на якому вона вчиться. Нижче потягни їх самостійно. Величезна модель, якій дали замало тексту, — це змарновані зусилля: помиляється вона десь так само, як крихітна. Підніми обидві разом — і похибка нарешті спадає, а вміння вмикаються. Виростиш лише одну — і з'явиться попередження: платиш за масштаб, який не можеш використати.
Масштаб — не один важіль, а баланс. Велетенська модель, голодна на дані, чи гора даних із крихітною моделлю — і те, й те марнує зусилля. А приріст буде лише тоді, коли частини ростуть в ногу.
А нові здібності просто з'являються
Ось найдивніше — те, що щойно вмикалося в тебе на очах. Плавна крива ховає раптові подарунки: перейди певний розмір — і модель раптом може те, чого раніше геть не вміла: безпомилково писати, додавати числа, виконувати багатокрокову інструкцію. Це емерджентні здібності — уміння, яких ніхто не вписував, що просто з'являються, щойно модель стає достатньо великою.
Масштаб не лише загострює те, що модель уже вміє — за певними розмірами він дає їй цілком нові вміння, як побічний ефект того, що вона більша. Саме тому кожне нове покоління відчувається як стрибок, а не підкрутка.
Чому це сформувало всю галузь
Ось чому найбільші лабораторії вкладають статки у щоразу більші моделі й дата-центри, щоб їх тренувати: масштаб — це єдиний важіль, що надійно окуповується. І ось чому нову модель ніхто не може передбачити повністю — криву похибки видно наперед, але яке саме нове вміння вискочить на якому розмірі, вгадати куди важче. Передбачувано загалом, несподівано в деталях.
Масштаб — найнадійніший важіль галузі й водночас її найбільше джерело несподіванок. Крива плавна; нові здібності, що ховаються вздовж неї, — ні.
Під капотом «більший» має три ручки, а не одну: кількість параметрів, обсяг тренувальних даних і обчислення, витрачені на тренування. Рости вони мають разом: велетенська модель, голодна на дані, — це змарновані зусилля. А пошук правильного балансу між ними — окремий напрям досліджень.
Підсумок
- —Коли масштабуєш модель угору (більше параметрів, даних і обчислень), її похибка спадає плавною, передбачуваною кривою — закони масштабування
- —За певними розмірами з'являються цілком нові емерджентні здібності, яких менші моделі просто не мали
- —Масштаб — найнадійніший важіль галузі: прогнозований загалом, але несподіваний у тому, яке вміння і коли з'явиться
Поточна модель команди раз у раз провалює задачу, яку конче треба виконувати надійно. Знаючи, як працює масштабування, який хід найрозумніший, щоб це виправити?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.