Урок 3 із 7
Чому інференс повільний і дорогий
7 хв читання
Модель наче «знає» відповідь тієї ж миті, коли ти натискаєш enter — то чому вона виводить її повільно, токен за токеном, ніби думає?
По одному токену за раз
Генерація тексту — це цикл. Щоб видати наступний токен — слово чи його частину — модель проганяє весь свій стос математики по всьому, що вже є, обирає один токен, додає його й проганяє все знову для наступного. Відповідь на 500 слів — це сотні проходів крізь мільярди ваг. Це послідовно: токен N+1 не може початися, поки не існує токен N. Тому довгі відповіді тривають довше — і коштують більше.
Інференс — це цикл: один повний прохід крізь модель на кожен токен. Більше токенів на виході означає пропорційно більше обчислень — і більше часу.
Токени, яких ти ніколи не бачиш
З моделями-міркувальниками дорожчає. Модель-міркувальник спершу пише довгий приватний чернетковий блокнот — токени міркування — перед своєю короткою видимою відповіддю. Ти цього думання не бачиш, але кожен прихований токен був повним проходом крізь модель, і його тарифікують за ставкою виходу. Спитай «думаючу» модель просту річ — і можеш заплатити за сотні невидимих токенів понад ті десять, які читаєш.
Модель-міркувальник витрачає невидимі токени, щоб думати. Вони коштують реальні обчислення й реальні гроші, хоч ти їх ніколи не читаєш.
Тому більша чи «думаюча» модель не завжди правильний вибір. Якщо задача не потребує глибокого міркування, менша модель, що пропускає блокнот, швидша й дешевша за ту саму видиму відповідь.
Суть коротко
- —Текст генерується по одному токену за раз — кожен токен це повний прохід крізь модель.
- —Більше вихідних токенів означає більше обчислень, більше затримки, більше вартості — воно росте з довжиною.
- —Моделі-міркувальники додають приховані токени думання, тарифіковані за ставкою виходу, понад те, що ти читаєш.
Дві моделі повертають ту саму коротку відповідь, але одна з них — міркувальник. Чому вона може коштувати значно більше?
Продовжити в застосунку
Пройди весь курс «Інференс і залізо» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.