Урок 4 із 8
Як AI став помічником
10 хв читання
Модель, натренована на інтернеті, блискуче передбачає текст — але саме це ще не робить її корисною. То як сира машина для вгадування слів перетворилася на щось, що справді відповідає на твої питання?
Щойно з читання він ще не помічник
Одразу після всього того читання модель уміє рівно одне: правдоподібно продовжувати текст (урок перший). А це не те саме, що бути корисною. Спитай цю сиру версію щось — і вона може взагалі не відповісти, а дописати ще три запитання, бо в інтернеті питання так часто йдуть списками. Вона добудовує документ, а не допомагає людині. Цю сиру, щойно натреновану версію називають базовою моделлю.
Читання інтернету дає базову модель: блискучу в продовженні тексту, але без жодного уявлення, що вона має бути корисним помічником. Багато знати — не те саме, що бути корисним.
Гарних манер навчили на прикладах
Тож люди навчили її поводитися — на прикладах. Показали тисячі зразкових розмов: ось питання — ось чітка й корисна відповідь; ось грубе чи каверзне прохання — ось спокійна, чесна реакція. Модель скопіювала патерн цих прикладів. Нових фактів тут не додалося — зʼявилася нова манера: відповідай на питання, будь корисним, тримайся ввічливо. Цей другий етап називають донавчанням.
Другий етап, донавчання, формує вже те, як модель поводиться: їй показують зразкові розмови. Читання дало знання, а донавчання — ту звичну тобі корисну манеру «відповідай на питання».
Зазирни всередину: вона стає тим, що ти винагороджуєш
Приклади вчать якийсь спосіб відповідати — але який найкращий? Ця остання шліфовка йде від людей. Модель показує дві відповіді на те саме питання, і людина обирає кращу. Зроби так тисячі разів — і модель дрейфує до того ґатунку відповідей, які раз за разом обирають. Ти не пишеш її реплік; ти винагороджуєш ті, що тобі до вподоби, і вона хилиться в той бік.
Цей останній етап — навчання на людському відгуку: люди оцінюють відповіді, а модель підлаштовується під оцінки. У фаховій мові це звуть RLHF (навчання з підкріпленням на людському відгуку). Нових фактів воно не додає — лише скеровує манеру, узявши твої вподобання за компас.
Це потужно — і в цьому ж заковика: модель стає рівно тим, що винагороджують, а не тим, що насправді добре. Винагороджуй відповіді, які лише звучать упевнено й корисно, — і вона навчиться так звучати, хай навіть не має рації. Ледь схиб з винагородою — і матимеш модель відшліфовану, згідливу й тихенько хибну. Що винагороджуєш, те й отримуєш.
Ось чому два асистенти, натреновані на схожому тексті, можуть відчуватися так по-різному — привітний, стриманий, обережний, балакучий. Значна частина цього характеру — з етапу винагороди, а не з читання.
Тож етапи складаються один на один. Pretraining — читання, звідки беруться знання. Тоді донавчання — приклади, звідки береться корисна манера. І остання шліфовка, де люди оцінюють її відповіді, добре проти кращого, щоб довести її до пуття.
Підсумок
- —Читання інтернету дає базову модель — вона лише продовжує текст, а не допомагає тобі
- —Донавчання на зразкових розмовах учить її відповідати корисно й ввічливо
- —Два етапи: pretraining дає знання, донавчання дає корисну манеру
- —Останній етап — люди оцінюють її відповіді (RLHF) — скеровує манеру до того, що вони воліють
Асистент ввічливо відповідає на твоє питання й тримається теми. Який етап навчив його так поводитися?
Продовжити в застосунку
Пройди весь курс «AI з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.