Урок 1 із 7
Від балакуна до асистента
10 хв читання
Щойно з-під тренування модель на «Яка столиця Франції?» майже так само охоче відповість «Яка столиця Італії? Яка столиця Іспанії?», як і дасть відповідь. Вона прочитала пів інтернету — то чому ж просто не відповість тобі?
Машина, що лише автодоповнює
Модель, яку дає предтренування — базова модель — має рівно одне вміння: продовжувати текст. Вона навчилася, граючи в вгадай наступне слово на величезному шматку інтернету, тож це все, що вона робить. Постав їй запитання — і вона бачить не прохання відповісти, а шматок тексту, який треба продовжити. А в мережі за запитанням часто йдуть ще запитання, або список, або відступ. Перемкни перемикач нижче між сирою моделлю та готовим асистентом на тому самому промпті.
Базова модель не зламана — вона робить рівно те, чого навчилась: доповнює текст. Її ніхто не вчив, що запитання — це прохання відповісти. Цю поведінку треба додати.
Кілька тисяч добрих прикладів
Додають її другим, набагато меншим етапом тренування: дотренуванням. Замість цілого інтернету моделі показують дібрану купку прикладів-діалогів — людина щось питає, а далі йде ідеальна відповідь — написаних або ретельно перевірених людьми. Вона й далі грає в вгадай наступне слово, але тепер на цьому охайному наборі добротної поведінки, тож засвоює форму корисної відповіді: звернутися до питання, бути зрозумілою й зупинитися, коли сказала все.
Дотренування майже не додає знань — майже все, що модель знає, вона засвоїла ще на предтренуванні. Воно додає поведінку: звичку відповідати як корисний асистент, а не балакати далі.
Збери купу прикладів
То що ж насправді в тій дібраній купі? Кожен приклад тихцем навчає одну звичку: ось так ти відповідаєш, ось коли зупиняєшся, ось як визнаєш сумнів. Збери купу самостійно нижче — вмикай і вимикай типи прикладів і дивись, як змінюється відповідь тієї самої базової моделі. Вимкни відповідати на питання — і вона сповзає назад у балаканину; додай поведінки — і кожна з'являється у відповіді. І пильнуй смужку знань унизу — вона не зрушить ні на крихту.
Уся манера асистента — чи він відповідає, зупиняється, визнає сумнів, звучить тепло — зібрана з тих типів прикладів, які ти додаєш. Нічого нового про світ не засвоюється; лише як поводитися.
Чому одна базова модель може стати ким завгодно
Ось чому з однієї базової моделі можна зробити лаконічного програміста, терплячого репетитора чи грайливого компаньйона — просто змінивши купу, яку вона копіює. Манеру обирають під час тренування. Це ще й натякає на хитріше: оскільки модель тренують звучати як упевнений помічник, вона може врешті обрати впевнено-хибну відповідь замість того, щоб вийти з ролі й сказати «Я не знаю». Гладку манеру добирають на тренуванні; правильність вона не гарантує.
Під капотом цей етап зветься навчання з учителем (SFT) — перший крок післятренування, усього, що роблять із базовою моделлю після того, як вона прочитала інтернет. Він дешевий поруч із предтренуванням: невеликий якісний набір прикладів, а не ще один прохід усією мережею. Решта курсу — про тренування, що йде після цього кроку.
Підсумок
- —Базова модель вміє лише продовжувати текст — постав їй запитання, і вона може просто автодоповнити ще запитань
- —Дотренування на невеликому наборі прикладів-діалогів учить її відповідати як корисний асистент
- —Типи прикладів, які ти додаєш, складають манеру асистента — відповідати, зупинятися, теплота, визнавати сумнів
- —Цей етап додає поведінку, а не знання — та сама модель під сподом, навчена, як відповідати
Команда бере свіжу базову модель і без жодного дотренування питає «Як скинути пароль?». Вона відповідає списком *інших* питань до підтримки замість відповіді. Що відбувається?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.