Урок 7 із 7
Твій GPT готовий
6 хв читання
Сім кроків тому рядок навіть не міг увійти в мережу. Тепер у тебе асистент. Що ж сталося?
Увесь конвеєр
Відступи на крок — і все це стає коротким списком. Кожна модель, з якою тобі доводилося спілкуватися, — це якась версія саме цього конвеєра; лабораторії просто проганяють його у величезному масштабі.
- —Токени й ембединги — текст стає id токенів, а тоді навчуваними векторами.
- —Увага — токени читають одне одного; сенс змішується з контексту.
- —Блок — увага + feed-forward + залишок + нормалізація, складені глибоко.
- —Передтренування — передбач наступний токен на тексті без міток; підлаштуй кожну вагу.
- —Масштаб — нарощуй розмір і дані разом; виникають нові вміння.
- —Донавчання — короткий раунд прикладів перетворює передбачувач на асистента.
Чому будування змінює те, як ти користуєшся
Знати конвеєр — це практично, а не академічно. Знаєш, чому модель галюцинує (передбачає ймовірні токени, а не шукає факти), чому важливий контекст (увага бачить лише те, що у вікні) і чому донавчання змінює поведінку, але не знання. Трансформер, зібраний тобою, і раунд донавчання поверх — це дві ідеї, що стоять майже за кожною сучасною моделлю.
Хочеш справжній код? Книжка Себастьяна Рашки Build a Large Language Model (From Scratch) реалізує кожен крок звідси на чистому PyTorch — цей курс — мапа, а книжка — територія.
Який один цикл виконує основну роботу і в передтренуванні, і в донавчанні?
Продовжити в застосунку
Пройди весь курс «Побудуй LLM з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.