Урок 5 із 7
Масштаб: дані, параметри, обчислення
8 хв читання
Усе написано, і модель навчається. Чому більша версія того самого коду раптом робить те, чого мала ніколи не могла?
Більше, за двома осями
Код не змінюється, коли масштабуєш, — змінюються числа. Розмір моделі (параметри) й обсяг даних ростуть разом, а рахунок за обчислення росте з ними. Наростиш обидва — і вмикаються нові вміння, яких ніхто не програмував: спершу правопис, тоді додавання, а тоді й міркування, щойно модель стає досить великою й бачить досить тексту.
Уміння, яких ніколи не кодуєш, виникають із самого масштабу. Але розмір і дані — це дві ручки, а не одна.
Баланс б'є грубу силу
Закони масштабування — ось де суть: похибка падає плавно й передбачувано, коли нарощуєш розмір, дані й обчислення пропорційно. Величезна модель на дрібці тексту не краща за малу, і навпаки теж. Інженерне вміння — витрачати обчислювальний бюджет там, де він дає найбільше, а не просто роздувати одне число.
Масштаб — це збалансований ріст. Удвічі більша модель потребує й більше даних, інакше зайвий розмір просто простоює.
Саме тому команди спершу оцінюють обчислювальний бюджет, а тоді добирають розмір моделі й набір даних під нього — закони дають змогу передбачити віддачу ще до витрат.
Що збудовано
- —Розуміння, що розмір моделі й дані мають рости разом.
- —Закони масштабування: похибка падає плавно й передбачувано за збалансованого масштабу.
- —Нові вміння, що виникають із масштабу, а не з нового коду.
Ти подвоюєш параметри моделі, але лишаєш той самий малий набір даних. Який імовірний результат?
Продовжити в застосунку
Пройди весь курс «Побудуй LLM з нуля» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.