Урок 6 із 7
Більший — передбачувано кращий
9 хв читання
Крихітний AI і велетенський працюють на тій самій конструкції — у велетня просто всього більше. І це одна з найдивніших істин сучасного AI: щоб зробити його розумнішим, часто не потрібна хитріша ідея. Ти просто робиш його більшим.
Більший — і передбачувано
Дослідники помітили щось майже моторошне. Коли ти масштабуєш модель угору — більше параметрів, більше тренувального тексту, більше обчислювальної потужності — те, наскільки вона помиляється, спадає плавною, передбачуваною кривою. Не стрибками навмання: крива настільки регулярна, що можна спрогнозувати, наскільки доброю буде модель, ще до її побудови. Потягни розмір нижче й дивись, як похибка сповзає цією кривою.
Масштаб купує точність уздовж передбачуваної кривої. Саме тому можна вирішити — ще до витрат, — що більшу модель варто будувати: приріст прогнозований.
Дві ручки, а не одна
«Більший» звучить як один регулятор. Це не так. Зробити модель більшою — це дві ручки, що мають рухатися разом: розмір моделі й обсяг тексту, на якому вона вчиться. Нижче потягни їх самостійно. Величезна модель, згодована замало тексту, витрачена намарно — вона лишається приблизно такою ж помилковою, як крихітна. Підніми обидві разом — і похибка нарешті спадає, а вміння вмикаються. Виростиш лише одну — з'явиться попередження: ти платиш за масштаб, який не можеш використати.
Масштаб — не один важіль, а баланс. Велетенська модель, голодна на дані, чи гора даних із крихітною моделлю — і те, й те марнує зусилля. Приріст приходить лише тоді, коли частини ростуть у крок.
А нові здібності просто з'являються
Ось найдивніше — те, що щойно вмикалося в тебе на очах. Плавна крива ховає раптові подарунки: перейди певний розмір — і модель раптом може те, чого раніше геть не вміла: надійно писати, додавати числа, виконувати багатокрокову інструкцію. Це емерджентні здібності — уміння, яких ніхто не вписував, що просто з'являються, щойно модель стає достатньо великою.
Масштаб не лише загострює те, що модель уже вміє — за певними розмірами він дає їй цілком нові вміння, як побічний ефект того, що вона більша. Саме тому кожне нове покоління відчувається як стрибок, а не підкрутка.
Чому це сформувало всю галузь
Ось чому найбільші лабораторії вкладають статки у щоразу більші моделі й дата-центри, щоб їх тренувати: масштаб — це єдиний важіль, що надійно окуповується. І ось чому нову модель ніхто не може передбачити повністю — криву похибки видно наперед, але яке саме нове вміння вискочить на якому розмірі, вгадати куди важче. Передбачувано загалом, несподівано в деталях.
Масштаб — найнадійніший важіль галузі й водночас її найбільше джерело несподіванок. Крива плавна; нові здібності, що ховаються вздовж неї, — ні.
Під капотом «більший» має три ручки, а не одну: кількість параметрів, обсяг тренувальних даних і обчислення, витрачені на тренування. Вони мають рости разом — велетенська модель, голодна на дані, витрачена намарно, — а пошук правильного балансу між ними є окремим напрямом досліджень.
Підсумок
- —Коли масштабуєш модель угору (більше параметрів, даних і обчислень), її похибка спадає плавною, передбачуваною кривою — закони масштабування
- —За певними розмірами з'являються цілком нові емерджентні здібності, яких менші моделі просто не мали
- —Масштаб — найнадійніший важіль галузі: прогнозований загалом, але несподіваний у тому, яке вміння і коли з'явиться
Поточна модель команди раз за разом провалює задачу, яку їм треба виконувати надійно. Виходячи з того, як працює масштабування, який найрозумніший хід, щоб це виправити?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.