Урок 5 із 7
Спостерігаємо, як воно міркує
8 хв читання
Почитай викладки моделі-мислителя й помітиш дивне: посеред думки вона пише «стоп — це не так», викреслює власний крок і пробує знову. Цю ваганість ніхто не програмував. Звідки вона?
Думати вголос
Коли модель практикується на складних задачах, спроби, що вдаються, мають спільну звичку: спершу думати вголос. Вони переказують задачу, викладають кроки, пробують шлях і перевіряють його. Оскільки ця звичка раз по раз доходить до відповіді, навчання з підкріпленням її зміцнює — тож добре натренована модель-мислитель природно видає довгий ланцюжок міркувань, перш ніж зважитися на відповідь.
Покрокові викладки — не декорація. Це стратегія, яку практика визнала найнадійнішою — тож модель навчилася викладати міркування, перш ніж відповісти.
«Стоп — це не так»
Найвражаюче — те, що з'являється всередині цих викладок: модель сама себе перепитує. Вона піде лінією міркування, помітить, що воно не тримається, напише щось на кшталт «стоп, перегляну ще раз» — і відступить назад. Цього ходу ніхто не прописував — він проявився, бо впіймати власну помилку посеред розв'язку це чудовий спосіб урешті дійти правильного, а навчання з підкріпленням винагороджує саме за правильний результат. Прокрокуй слід міркування нижче й дивись, як це стається.
Самовиправлення не вчили — його відкрили. Оскільки практика винагороджує за правильну фінальну відповідь, модель навчилася вертатися й виправляти себе, точно як зробила б уважна людина.
Чому повертатися назад окупається
Варто бути точним, чому це з'являється. Під час практики спроба, що жене вперед на хибному кроці, зазвичай закінчується хибно — і її відкидають. Спроба, що спиняється, помічає хибний крок і виправляє його, частіше закінчується правильно — і її лишають. Ніхто ж не винагороджує слово «стоп»; практика винагороджує лише за правильну фінальну відповідь. Самоперевірка виживає, бо це надійний шлях до неї.
Самовиправлення — не характер, який моделі вручили. Це побічний наслідок винагороди за правильні відповіді: звичка, що ловить помилки, це та сама звичка, що доходить до правильного, тож практика її лишає.
Ця самоперевірка, що з'явилася сама собою, стала головною новиною відкритих моделей-мислителів на кшталт DeepSeek-R1, чиї звіти прозвали її «моментом осяяння»: посеред тренування модель спонтанно почала переглядати власні кроки — звичка, якої ніхто не заклав руками.
Підсумок
- —Практика підштовхує модель видавати ланцюжок міркувань — свої міркування, викладені крок за кроком — перед відповіддю
- —Усередині цих міркувань вона вчиться самовиправлятися: помітити хибний крок, відступити й виправити
- —Ваганість ніхто не прописував — вона проявилась, бо дійти правильної відповіді це те, що практика винагороджує
Модель-мислитель посеред відповіді пише «стоп, так не виходить» і переробляє крок. Що найкраще пояснює цю поведінку?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.