Урок 4 із 7
Передтренування на тексті без міток
9 хв читання
Ніхто не розмічає трильйон слів вручну. То звідки насправді береться все «навчання» в мовній моделі?
Увесь цикл — це один здогад
Передтренування вражаюче просто описати: покажи моделі трохи тексту, хай вона передбачить наступний токен, порівняй її здогад зі словом, що справді йшло далі, і підлаштуй. Текст сам собі ключ відповідей — тому це й зветься без міток. Роби так знову і знову — і параметри моделі поволі починають кодувати, як влаштована мова.
Навчання — це просто: вгадай наступний токен, виміряй похибку, підштовхни кожну вагу трохи в правильний бік. Повтори мільярди разів.
Втрата, градієнти, повтор
У кожному кроці три рухи. Число втрати каже, наскільки хибним був здогад. Зворотне поширення з'ясовує, у який бік рухати кожну вагу, щоб зменшити ту втрату. Оптимізатор робить крок. Проганяй цей цикл крізь величезні обсяги тексту — і отримаєш базову модель: сирий передбачувач наступного токена, який багато знає, але ще не виконує інструкцій.
Жодна окрема вага не тримає факт. Знання розмазане по мільйонах ваг, і всі вони підштовхуються разом тим самим циклом «передбач і виправ».
Це найдорожча частина — тижні на багатьох GPU. Усе, написане в попередніх уроках, існує, щоб цьому циклу було що підлаштовувати.
Що збудовано
- —Цикл передбачення наступного токена на звичайному тексті без міток.
- —Втрату, що оцінює здогад, градієнти, що вказують униз, оптимізатор, що робить крок.
- —Базову модель: вправну в передбаченні тексту, ще не у виконанні інструкцій.
Чому дані для передтренування звуть «без міток»?
Продовжити в застосунку
Пройди весь курс «Побудуй LLM з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.