Урок 4 із 8
Як AI став помічником
10 хв читання
Модель, натренована на інтернеті, блискуче передбачає текст — але саме це ще не робить її корисною. То як сира машина для вгадування слів перетворилася на щось, що справді відповідає на твої питання?
Щойно з читання він ще не помічник
Одразу після всього того читання модель уміє рівно одне: правдоподібно продовжувати текст (урок перший). А це не те саме, що бути корисною. Спитай цю сиру версію щось — і вона може взагалі не відповісти, а дописати ще три запитання, бо в інтернеті питання так часто йдуть списками. Вона добудовує документ, а не допомагає людині. Цю сиру, щойно натреновану версію називають базовою моделлю.
Читання інтернету дає базову модель: блискучу в продовженні тексту, але без жодного уявлення, що вона має бути корисним помічником. Багато знати — не те саме, що бути корисним.
Гарних манер навчили на прикладах
Тож люди навчили її, як поводитися, — на прикладах. Їй показали тисячі зразкових розмов: ось питання, ось чітка й корисна відповідь; ось грубе чи каверзне прохання, ось спокійна, чесна реакція. Модель скопіювала патерн цих прикладів. Нових фактів вона тут не набула — вона набула нову манеру: відповідай на питання, будь корисним, тримайся ввічливо. Цей другий етап називають донавчанням.
Другий етап, донавчання, формує те, як модель поводиться, показуючи їй зразкові розмови. Читання дало їй знання; донавчання дало ту корисну манеру «відповідай на питання», до якої ти звик.
Зазирни всередину: вона стає тим, що ти винагороджуєш
Приклади вчать якийсь спосіб відповідати — але який найкращий? Ця остання шліфовка йде від людей. Модель показує дві відповіді на те саме питання, і людина обирає кращу. Зроби так тисячі разів — і модель дрейфує до того ґатунку відповідей, які раз за разом обирають. Ти не пишеш її реплік; ти винагороджуєш ті, що тобі до вподоби, і вона хилиться в той бік.
Цей останній етап — навчання на людському відгуку: люди оцінюють відповіді, а модель підлаштовується під оцінки. У фаховій мові це звуть RLHF (навчання з підкріпленням на людському відгуку). Нових фактів воно не додає; воно скеровує манеру, узявши твої вподобання за компас.
Це потужно — і в цьому ж заковика: модель стає рівно тим, що винагороджують, а не тим, що насправді добре. Винагороджуй відповіді, які лише звучать упевнено й корисно, — і вона навчиться так звучати, хай навіть не має рації. Ледь схиб з винагородою — і матимеш модель відшліфовану, згідливу й тихенько хибну. Що винагороджуєш, те й отримуєш.
Ось чому два асистенти, натреновані на схожому тексті, можуть відчуватися так по-різному — привітний, стриманий, обережний, балакучий. Значна частина цього характеру — з етапу винагороди, а не з читання.
Тож етапи складаються один на один. Pretraining — читання, звідки беруться знання. Тоді донавчання — приклади, звідки береться корисна манера. І остання шліфовка, де люди оцінюють її відповіді, добре проти кращого, щоб довести її до пуття.
Підсумок
- —Читання інтернету дає базову модель — вона лише продовжує текст, а не допомагає тобі
- —Донавчання на зразкових розмовах учить її відповідати корисно й ввічливо
- —Два етапи: pretraining дає знання, донавчання дає корисну манеру
- —Останній етап — люди оцінюють її відповіді (RLHF) — скеровує манеру до того, що вони воліють
Асистент ввічливо відповідає на твоє питання й тримається теми. Який етап навчив його так поводитися?
Продовжити в застосунку
Пройди весь курс «AI з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.