Урок 4 із 6
Обчислення та чипи
6 хв читання
Чому раптом усі б'ються за комп'ютерні чипи? Бо чим більшою стає модель, тим більше сирої обчислювальної потужності потрібно, щоб її збудувати й запустити — і це стало вузьким місцем усієї гри.
Більші моделі, голодніші машини
Навчання моделі означає виконання немислимої кількості обчислень над горами даних. Обчислення — та сира процесорна потужність — це паливо. Масштабуй модель угору, і її апетит до обчислень не повзе вгору; він вибухає. Фронтирні моделі потребують тисяч спеціалізованих чипів, що працюють тижнями для навчання, і серйозного шматка датацентру лише щоб відповісти тобі.
Масштабування моделі вгору множить обчислення — і чипи — які їй потрібні.
Золота лихоманка чипів
Ці спеціалізовані чипи — GPU, і одна компанія — Nvidia — робить більшість найкращих, тому вона стала однією з найдорожчих фірм світу. Google, Amazon та інші тепер проєктують власні. Доступ до чипів дедалі більше вирішує, хто взагалі здатен будувати фронтирний AI: менше про хитрий код, більше про те, хто може дістати залізо й потужність, щоб його запустити.
Чипи й потужність, щоб їх живити, — тепер справжня межа фронтирного AI.
Коли лабораторія хвалиться наступною моделлю, тиха історія — це обчислення: скільки чипів пішло на навчання і в кого їх довелося купувати.
Коротко
- —Обчислення — сира процесорна потужність — це те, що навчає й запускає модель.
- —Масштабування вгору швидко множить потрібні чипи й енергію.
- —GPU (переважно від Nvidia) — дефіцитний ресурс, за яким усі женуться.
Чому «обчислення» — така велика справа в AI зараз?
Продовжити в застосунку
Пройди весь курс «Ландшафт AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.