Урок 4 із 7
Практика доводить до досконалості
11 хв читання
Тенісу можна вчитися, дивлячись на тренера, але майстром не станеш, доки не граєш — погано, годинами, лишаючи те, що виграє розіграш. Виявляється, з AI майже так само. То як модель практикується?
Від копіювання до практики
Дотренування вчило модель наслідуванням: скопіюй людську відповідь. Але в наслідування є стеля — кращим за приклади не станеш, а для складної задачі ідеальних кроків, можливо, ніхто й не написав. Тож для задач із перевірюваною відповіддю (математичний результат чи код, який або запускається, або ні) ми міняємо метод: замість показувати моделі готову відповідь, даємо їй пробувати.
Наслідування копіює те, що робили люди, тож не може їх перевершити. Щоб піти далі, модель мусить перестати копіювати й почати практикуватися — на задачах, де успіх справді можна перевірити.
Лиши те, що спрацьовує
Цикл практики такий. Дай моделі задачу й дозволь згенерувати багато спроб — десятки різних, кожна міркує трохи інакше. Перевір, які дійшли до правильної відповіді. Тоді підштовхни модель робити успішні різновиди спроб імовірнішими наступного разу, а невдалі — менш імовірними. Повтори на тисячах задач. Це навчання з підкріпленням: вчитися з результату власних спроб, а не з людського прикладу. Проведи кілька раундів нижче.
Ніхто не подає моделі розв'язок. Вона відкриває власний, пробуючи масово й підкріплюючи те, що спрацювало — тож із практикою стає дедалі кращою і може знайти стратегії, яких не показувала жодна людина.
Що насправді змінюється всередині
Запускати спроби — лише половина циклу. Друга половина — те, що практика робить із моделлю опісля. Уяви, що в моделі є звички — підходи, до яких вона тягнеться, побачивши задачу. Нижче вона починає з поганої звички: здебільшого груба здогадка. Кожного раунду практики вона пробує масово, лишає те, що дійшло до відповіді, і зсуває звички до цього. Раунд за раундом підхід, що працює, бере гору — і вона дійшла туди, а ніхто ж ні разу не показав їй відповідь.
Практика не просто оцінює спроби — вона переформовує звички моделі до того, що вдається. Саме так вона піднімається від поганого старту до доброго підходу сама.
Чому практика може перевершити своїх учителів
Ось у чому весь виграш. Копіювання обмежене скопійованим — не перевершиш прикладів, які наслідуєш. А модель, що лишає те, що справді працює, не прив'язана до підходів, які хтось записав; вона може натрапити на власні й лишити їх саме тому, що вони виграють. Дай їй задачу з перевірюваною відповіддю і досить раундів практики — і вона може стати кращою за все, що їй спершу показали. Саме туди курс і прямує.
Ті численні спроби на задачу часто звуть роллаутами, і саме підкріпленням вдалих модель учиться розв'язувати математику й код далеко за межами того, що бачила на дотренуванні. А що методи вона відкриває власні, її міркування може виглядати трохи чужорідно — про що якраз наступний урок.
Підсумок
- —Дотренування вчиться наслідуванням, копіюючи людські відповіді, — а це обмежує модель людським рівнем
- —Навчання з підкріпленням дає їй практикуватися: згенерувати багато спроб, перевірити їх, підкріпити ті, що доходять до відповіді
- —Вона вчиться з результату власних спроб, тож може відкрити стратегії, яких їй ніхто не показував
- —Практика переформовує звички моделі до підходів, що працюють, — тож вона може піднятися з поганого старту сама
Модель покращують на математичних задачах, кожна з яких має однозначну правильну відповідь. Який підхід найкраще відповідає навчанню з підкріпленням?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.