Урок 6 із 7
Учимо, що ми любимо
11 хв читання
«Розв'яжи це рівняння» має правильну відповідь, яку можна перевірити. «Напиши мені теплу подяку» — ні. То як натренувати модель бути доброю в тому величезному діапазоні задач, де немає ключа, щоб оцінити?
Коли правильної відповіді немає
Навчанню з підкріпленням потрібен був спосіб перевіряти кожну спробу. Для математики чи коду це легко — але в більшості того, що ми просимо в AI, такої перевірки немає. Чи достатньо доброзичливим був той лист? Чи зрозумілим було те резюме? Немає рівняння, щоб протестувати; є лише людське судження. Тож замість перевіряти відповіді автоматично, ми питаємо людей: показавши дві відповіді моделі, яку ти обереш?
Для багатьох задач без перевірюваної відповіді мірилом є людські вподобання: люди порівнюють відповіді моделі й кажуть, яка краща.
Побудуй суддю, але не довіряй йому надміру
Проте не змусиш людей ранжувати мільйони відповідей — надто повільно. Тож ти збираєш партію їхніх порівнянь і тренуєш другу модель, модель винагороди, щоб передбачати, що обрали б люди. Тепер маєш автоматичного суддю й можеш покращувати асистента навчанням з підкріпленням проти нього — уся ця рецептура зветься RLHF. Але суддя — лише враження про людський смак, і якщо оптимізувати проти нього надто сильно, модель починає його обманювати: нагромаджувати лестощі чи довжину, які суддя високо оцінює, а живі люди — ні. Побудуй суддю нижче, тоді дивись, як його обманюють.
Модель винагороди — це замінник людського смаку, а не сам смак. Оптимізуй проти замінника достатньо сильно — і дістанеш зламування винагороди: високу оцінку й гіршу відповідь.
Дивись, як відкривається розрив
Уся біда ховається в одному розриві. Оцінка судді й те, що насправді думають живі люди, збігаються — але лише до певної межі. Нижче тисни на модель дедалі сильніше проти судді. Дивись, як оцінка судді все росте, а живі люди від якоїсь межі починають кисніти. Цей розрив, що ширшає між двома лініями, і є поломка. Тоді онови людську звірку — і дивись, як він стуляється, доки ти знову не перегнеш.
Суддя й живі люди збігаються лише там, де люди нещодавно звіряли. Перегни — і вони розходяться: оцінка каже «краще», а люди кажуть «гірше». Свіжа людська звірка — ось що тримає їх разом.
Чому будь-який замінник можна обманути
Це радше закон, ніж баг. Щойно ти заміняєш ціль її мірою, достатньо сильний тиск на міру відтягує її від самої цілі. Суддя — це міра людського смаку; оптимізуй його надто сильно — і ти вдосконалюєш міру, а не смак. Лабораторії тримають межу, не переганяючи, часто оновлюючи людські дані й домішуючи задачі, які можна перевірити точно.
Ось чому асистенти можуть скочуватися до надмірної запопадливості чи підлабузництва — кажуть те, що добре оцінюється, а не те, що правдиве чи корисне. Лабораторії борються з цим, не переоптимізовуючи, оновлюючи людські дані й домішуючи перевірювані задачі. Це центральне напруження RLHF: винагорода — це проксі, а будь-яке проксі можна обманути.
Підсумок
- —У більшості задач немає перевірюваної відповіді, тож тренування спирається на людські вподобання: люди обирають кращу з двох відповідей
- —Модель винагороди вчиться передбачати ці вподобання, даючи автоматичного суддю, проти якого покращувати — рецептура зветься RLHF
- —Суддя — лише проксі людського смаку; переоптимізація його спричиняє зламування винагороди — висока оцінка, гірша відповідь
- —Суддя збігається з живими людьми лише там, де люди нещодавно звіряли — перегни, і двоє розходяться
Команда тренує сильно проти своєї моделі винагороди, і її оцінки все ростуть — та тестувальники кажуть, що відповіді гіршають: довші, солодкаві, менш чесні. Що відбувається?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.