Урок 4 із 7
Практика доводить до досконалості
11 хв читання
Тенісу можна вчитися, дивлячись на тренера, але майстром не станеш, доки не граєш — погано, годинами, лишаючи те, що виграє розіграш. Виявляється, з AI майже так само. То як модель практикується?
Від копіювання до практики
Дотренування вчило модель наслідуванням — скопіюй людську відповідь. Але в наслідування є стеля: кращим за приклади не станеш, а для складної задачі ідеальних кроків, можливо, ніхто й не написав. Тож для задач із перевірюваною відповіддю — математичний результат, код, що або запускається, або ні — ми змінюємо метод. Замість показувати моделі ту саму відповідь, ми даємо їй пробувати.
Наслідування копіює те, що робили люди, тож не може їх перевершити. Щоб піти далі, модель мусить перестати копіювати й почати практикуватися — на задачах, де успіх справді можна перевірити.
Лиши те, що спрацьовує
Цикл практики такий. Дай моделі задачу й дозволь згенерувати багато спроб — десятки різних, кожна міркує трохи інакше. Перевір, які дійшли до правильної відповіді. Тоді підштовхни модель робити успішні різновиди спроб імовірнішими наступного разу, а невдалі — менш імовірними. Повтори на тисячах задач. Це навчання з підкріпленням: вчитися з результату власних спроб, а не з людського прикладу. Проведи кілька раундів нижче.
Ніхто не подає моделі розв'язок. Вона відкриває власний, пробуючи масово й підкріплюючи те, що спрацювало — тож із практикою стає дедалі кращою і може знайти стратегії, яких не показувала жодна людина.
Що насправді змінюється всередині
Запускати спроби — лише половина циклу. Друга половина — те, що практика робить із моделлю опісля. Уяви, що в моделі є звички — підходи, до яких вона тягнеться, побачивши задачу. Нижче вона починає з поганої звички: здебільшого груба здогадка. Кожного раунду практики вона пробує масово, лишає те, що дійшло до відповіді, і зсуває звички до цього. Раунд за раундом підхід, що працює, бере гору — і вона дійшла туди, а ніхто ж ні разу не показав їй відповідь.
Практика не просто оцінює спроби — вона переформовує звички моделі до того, що вдається. Саме так вона піднімається від поганого старту до доброго підходу сама.
Чому практика може перевершити своїх учителів
Ось уся винагорода. Копіювання обмежене скопійованим — не перевершиш прикладів, які наслідуєш. А модель, що лишає те, що справді працює, не прив'язана до підходів, які хтось записав; вона може натрапити на власні й лишити їх саме тому, що вони виграють. Дай їй задачу з перевірюваною відповіддю і досить раундів практики — і вона може стати кращою за все, що їй спершу показали. Саме туди курс і прямує.
Ті численні спроби на задачу часто звуть роллаутами, а підкріплення вдалих — це те, як модель учиться розв'язувати математику й код далеко за межі того, що бачила на дотренуванні. Оскільки вона відкриває власні методи, її міркування може виглядати трохи чужорідним — про що якраз наступний урок.
Підсумок
- —Дотренування вчиться наслідуванням — копіює людські відповіді — що обмежує модель людським рівнем
- —Навчання з підкріпленням дає їй практикуватися: згенерувати багато спроб, перевірити їх, підкріпити ті, що доходять до відповіді
- —Вона вчиться з результату власних спроб, тож може відкрити стратегії, яких їй ніхто не показував
- —Практика переформовує звички моделі до підходів, що працюють, — тож вона може піднятися з поганого старту сама
Модель покращують на математичних задачах, кожна з яких має однозначну правильну відповідь. Який підхід найкраще відповідає навчанню з підкріпленням?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.