Урок 7 із 7
Обслуговувати швидко й дешево
5 хв читання
Усе почалося з питання, чому моделі потрібен особливий чип. Тепер ти знаєш чип, вартість і ручки. Яка одна ментальна модель усе це зв'язує?
Що в тебе тепер є
За жменьку коротких уроків у тебе склалася робоча картина інференсу — не специфікації, а ідеї, що лишаються правдивими, поки залізо змінюється.
- —GPU — тисячі простих ядер, що роблять паралельну математику моделі всі одразу.
- —NVIDIA — швидкі чипи плюс CUDA, програмний шар, що є справжнім ровом.
- —Повільно й дорого — текст генерується токен за токеном; міркувальники додають приховані.
- —Сервінг-рушії — vLLM, Ollama та інші тримають GPU зайнятим і задають компроміс.
- —Квантування й вартість — менше бітів меншають модель; кілька важелів зрізають рахунок.
Один цикл, який варто лишити
Якщо запам'ятати одне: вартість інференсу — це формула, якою ти керуєш, а не фіксована ціна. Підбери модель під задачу, тримай дороге залізо зайнятим і підріж те, що генерує кожен виклик. Ця єдина звичка — підбери розмір, наситити, підріж — покриває більшість того, як обслуговувати моделі швидко й дешево.
Добре обслуговувати — не секрет. Це підбір моделі під задачу, тримання GPU зайнятим і зрізання токенів — свідомо, щоразу.
Назви заліза й прайси змінюватимуться щороку. Форми звідси — паралельність, цикл токен-за-токеном, квантування, підбір розміру — ні.
Яка ментальна модель зв'язує інференс докупи?
Продовжити в застосунку
Пройди весь курс «Інференс і залізо» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.