Урок 1 із 7
Від балакуна до асистента
10 хв читання
Щойно з-під тренування модель на «Яка столиця Франції?» майже так само охоче відповість «Яка столиця Італії? Яка столиця Іспанії?», як і дасть відповідь. Прочитала пів інтернету — то чому ж просто не відповість тобі?
Машина, що лише автодоповнює
З предтренування виходить базова модель, і вміння в неї рівно одне: продовжувати текст. Вона навчилася, граючи у вгадай наступне слово на величезному шматку інтернету, тож нічого іншого й не робить. Постав їй запитання — і вона побачить не прохання відповісти, а шматок тексту, який треба продовжити. А в мережі за запитанням часто йдуть ще запитання, список чи зовсім інша тема. Клацни перемикачем нижче між сирою моделлю та готовим асистентом на тому самому запиті.
Базова модель не зламана — робить рівно те, чого навчилася: доповнює текст. Її ніхто не вчив, що запитання — це прохання відповісти. Цю поведінку доводиться додавати окремо.
Кілька тисяч добрих прикладів
Додають її другим, куди меншим етапом тренування — дотренуванням. Замість цілого інтернету моделі показують дібрану купку прикладів-діалогів (людина щось питає — і одразу йде ідеальна відповідь), написаних або ретельно перевірених людьми. Модель і далі грає у вгадай наступне слово, але вже на цьому охайному наборі зразкової поведінки, тож засвоює форму корисної відповіді: відповісти на питання, висловитися ясно й спинитися, коли все сказано.
Дотренування навряд чи додає знань: майже все, що модель знає, вона засвоїла ще на предтренуванні. А додає воно поведінку — звичку відповідати як корисний асистент, а не балакати далі.
Збери купу прикладів
То що ж у тій дібраній купі? Кожен приклад тихцем прищеплює одну звичку: ось так ти відповідаєш, ось коли зупиняєшся, ось як визнаєш сумнів. Збери купу сам нижче — вмикай і вимикай типи прикладів і дивись, як змінюється відповідь тієї самої базової моделі. Вимкни відповідати на питання — і модель сповзає назад у балаканину; додай поведінок — і кожна проступає у відповіді. А ще пильнуй смужку знань унизу: вона не зрушить ні на крихту.
Уся манера асистента зібрана з тих типів прикладів, які ти додаєш: чи відповідає він, чи спиняється вчасно, чи визнає сумнів, чи звучить тепло. Нічого нового про світ не засвоюється — лише як поводитися.
Чому одна базова модель може стати ким завгодно
Ось чому з однієї базової моделі можна зробити лаконічного програміста, терплячого репетитора чи грайливого компаньйона — досить змінити купу, яку вона копіює. Манеру задають ще на тренуванні. Звідси й хитріший висновок: оскільки модель привчають звучати як упевнений помічник, вона може врешті віддати перевагу впевнено-хибній відповіді, аби не виходити з ролі й не казати «Я не знаю». Гладку манеру задають на тренуванні, а от правильності це не гарантує.
За лаштунками цей етап зветься навчанням з учителем (SFT) — перший крок післятренування: усього, що роблять із базовою моделлю після того, як вона прочитала інтернет. Коштує він копійки проти предтренування — невеликий якісний набір прикладів, а не ще один прохід усією мережею. Решта курсу саме про те, що йде після цього кроку.
Підсумок
- —Базова модель вміє лише продовжувати текст — постав їй запитання, і вона може просто автодоповнити ще запитань
- —Дотренування на невеликому наборі прикладів-діалогів учить її відповідати як корисний асистент
- —Типи прикладів, які ти додаєш, складають манеру асистента: відповідати, зупинятися, теплий тон, визнавати сумнів
- —Цей етап додає поведінку, а не знання — та сама модель під сподом, навчена, як відповідати
Команда бере свіжу базову модель і без жодного дотренування питає «Як скинути пароль?». А та у відповідь видає список *інших* звернень до підтримки. Що відбувається?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.