Урок 5 із 7
Масштаб: дані, параметри, обчислення
8 хв читання
Усе написано, і воно навчається. Чому більша версія того самого коду раптом робить те, чого мала ніколи не могла?
Більше, за двома осями
Код не змінюється, коли ти масштабуєш — змінюються числа. Розмір моделі (параметри) й обсяг даних ростуть разом, а рахунок за обчислення росте з ними. Наростиш обидва — і вмикаються нові вміння, яких ніхто не програмував: спершу правопис, тоді додавання, тоді міркування з'являються, коли модель стає досить великою й бачить досить тексту.
Уміння, яких ти ніколи не кодуєш, виникають із самого масштабу. Але розмір і дані — це дві ручки, не одна.
Баланс б'є грубу силу
Закони масштабування — це суть: похибка падає плавно й передбачувано, коли ти нарощуєш розмір, дані й обчислення пропорційно. Величезна модель на дрібці тексту не краща за малу — і навпаки теж правда. Інженерне вміння — витрачати обчислювальний бюджет там, де він дає найбільше, а не просто робити одне число величезним.
Масштаб — це збалансований ріст. Модель удвічі більша потребує й більше даних, інакше зайвий розмір просто простоює.
Саме тому команди спершу оцінюють обчислювальний бюджет, а тоді добирають розмір моделі й набір даних під нього — закони дають передбачити віддачу ще до витрат.
Що збудовано
- —Розуміння, що розмір моделі й дані мають рости разом.
- —Закони масштабування: похибка падає плавно й передбачувано за збалансованого масштабу.
- —Нові вміння, що виникають із масштабу, а не з нового коду.
Ти подвоюєш параметри моделі, але лишаєш той самий малий набір даних. Який імовірний результат?
Продовжити в застосунку
Пройди весь курс «Побудуй LLM з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.