Урок 2 із 6
Як працює донавчання (SFT, LoRA)
7 хв читання
Ти показуєш моделі кілька сотень своїх найкращих відповідей. Як це насправді змінює те, що вона скаже наступного разу?
Показуй, а не розказуй
Робоча конячка — кероване донавчання (SFT): ти даєш базовій моделі багато пар-прикладів — промпт та ідеальну відповідь — і тренування підправляє її ваги так, щоб вона з більшою ймовірністю видавала відповіді, як твої. Партія за партією частка виходів, що збігаються з твоїм цільовим стилем, зростає.
SFT не додає нових фактів — воно переформовує схильності. Кожна партія прикладів нахиляє модель трохи далі до поведінки, яку ти показуєш.
LoRA: донавчай маленьку надбудову, а не всю модель
Перетреновувати кожну вагу дорого й вимагає багато пам'яті. LoRA (низькорангова адаптація) заморожує оригінальну модель і тренує крихітний набір додаткових ваг поруч із нею — часто менш ніж 1% від розміру. Ти отримуєш більшу частину користі повного донавчання за частку обчислень і можеш тримати багато маленьких адаптерів для однієї базової моделі.
LoRA змінює економіку: той самий приріст поведінки за частку обчислень і сховища. Саме тому донавчання тепер практичне навіть на скромному залізі.
Повне донавчання й LoRA цілять в одну мішень — LoRA просто дістається туди дешевше. Для більшості команд LoRA — типовий вибір; повне донавчання лишають на рідкісний випадок, що його потребує.
Суть коротко
- —SFT тренується на парах промпт→відповідь, зсуваючи схильності до твоїх прикладів.
- —Воно переформовує поведінку, а не знання — жодних нових фактів.
- —LoRA тренує маленький адаптер, а не всю модель — більшість користі, значно менше витрат.
Що LoRA змінює порівняно з повним керованим донавчанням?
Продовжити в застосунку
Пройди весь курс «Донавчання та кастомізація» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.