Урок 6 із 7
Донавчання виконувати інструкції
8 хв читання
Твоя базова модель може дописати будь-яке речення — але постав їй питання, і вона просто пише ще питань. Як змусити її відповідати?
Від передбачувача до асистента
Базова модель передбачає текст; вона не знає, що має допомагати. Донавчання на інструкціях (SFT) виправляє це малим набором прикладних пар — запит і добра відповідь — і кількома раундами того самого навчального циклу. В архітектурі нічого не змінюється; ти просто вправляєш модель у тому, який вигляд має корисна відповідь.
Донавчання — це той самий цикл «передбач і виправ», спрямований на крихітний, дібраний набір прикладів «інструкція → відповідь».
Дешево, швидко й нашаровується
Порівняно з передтренуванням це дрібниця — години, не тижні; тисячі прикладів, не трильйони токенів. Воно будується поверх базової моделі, яку вже навчено, тож уся та загальна мовна вправність лишається й просто спрямовується на виконання інструкцій. Пізніший раунд налаштування за вподобаннями може ще підгострити тон і безпеку.
Ти не перенавчаєш з нуля. Донавчання — це легкий шар вправляння поверх усього, чого вже навчило передтренування.
Донавчання формує поведінку, а не факти. Воно не навчить модель нових знань, яких вона не бачила в передтренуванні — воно вчить її, як відповідати.
Що збудовано
- —Набір інструкцій: пари «запит → добра відповідь».
- —Короткий прогін донавчання тим самим навчальним циклом, що й передтренування.
- —Асистента, що виконує інструкції, побудованого на базовій моделі.
Чим донавчання на інструкціях відрізняється від передтренування?
Продовжити в застосунку
Пройди весь курс «Побудуй LLM з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.