Курс

Побудуй LLM з нуля

Підсумковий курс. Ти вже користуєшся моделями; тепер збудуй одну на папері. За книжкою Себастьяна Рашки *Build a Large Language Model (From Scratch)* цей курс проходить конвеєр, який виконує справжня реалізація: текст стає токенами й ембедингами, самоувага дає токенам читати одне одного, стос блоків-трансформерів їх уточнює, передтренування підлаштовує мільйони ваг, передбачаючи наступний токен, масштаб вирішує, наскільки добре все вийде, а короткий раунд донавчання перетворює сирий передбачувач тексту на виконавця інструкцій. Сім коротких уроків, кожен крок намальовано — той самий механізм, без формул і без води.

7 уроківПросунутий56 хв

Почати курс Завантажити застосунок

Уроки курсу

Текст → токени → ембединги

Перше, що робить твій код: ріже текст на токени, а потім дає кожному вектор, з яким модель справді може рахувати.

›

Кодуємо увагу

Самоувага власноруч: нехай кожен токен озирається на попередні й вбирає те, що важливо.

›

Збираємо GPT-блок

Загорни увагу й невелику feed-forward-мережу в один повторюваний блок-трансформер, а тоді склади в стос.

›

Передтренування на тексті без міток

Навчальний цикл: передбач наступний токен, виміряй похибку, підштовхни кожну вагу — і повтори на горах тексту.

›

Масштаб: дані, параметри, обчислення

Дві ручки вирішують, наскільки доброю стане модель: розмір моделі й обсяг даних. Окупаються вони лише разом.

›

Донавчання виконувати інструкції

Короткий дешевий раунд навчання на зразкових парах «інструкція–відповідь» перетворює сирий передбачувач на асистента.

›

Твій GPT готовий

Увесь конвеєр від початку до кінця, від сирого рядка до моделі, що виконує інструкції, — в одній картині.

›

Пройди весь курс

Вивчи як слід — із відстеженням і персоналізацією

Проходь увесь курс як структурований маршрут — послідовні уроки, прогрес, стріки й персональний шлях, усе в застосунку.

Завантажити застосунок