Урок 3 із 7
Чому інференс повільний і дорогий
7 хв читання
Модель наче «знає» відповідь тієї самої миті, коли ти тиснеш enter. То чому ж вона видає її поволі, токен за токеном, ніби роздумує?
По одному токену за раз
Генерація тексту — це цикл. Щоб видати наступний токен (слово або його частину), модель проганяє всю свою математику по всьому, що вже написано, обирає один токен, додає його — і повторює все заново для наступного. Відповідь на 500 слів — це сотні проходів крізь мільярди ваг. Процес послідовний: токен N+1 не з'явиться, поки немає токена N. Тому довгі відповіді й тривають довше, і коштують дорожче.
Інференс — це цикл: один повний прохід крізь модель на кожен токен. Більше токенів на виході — пропорційно більше обчислень і часу.
Токени, яких ти ніколи не бачиш
А з моделями-міркувальниками виходить ще дорожче. Модель-міркувальник спершу пише довгий внутрішній чернетковий блокнот, токени міркування, а вже потім — коротку видиму відповідь. Цього думання ти не бачиш, але кожен прихований токен був повним проходом крізь модель, і за нього рахують за ставкою виходу. Спитай «думаючу» модель щось просте — і можеш заплатити за сотні невидимих токенів понад ті десять, які прочитаєш.
Модель-міркувальник витрачає невидимі токени на думання. Вони обходяться в реальні обчислення й реальні гроші, хоч ти їх навіть не читаєш.
Тому більша чи «думаюча» модель — не завжди правильний вибір. Якщо задача не потребує глибокого міркування, менша модель, що обходиться без блокнота, дасть ту саму видиму відповідь швидше й дешевше.
Суть коротко
- —Текст генерується по одному токену за раз; кожен токен — це повний прохід крізь модель.
- —Більше вихідних токенів — більше обчислень, затримки й вартості: усе росте з довжиною.
- —Моделі-міркувальники додають приховані токени думання, тарифіковані за ставкою виходу, понад те, що ти читаєш.
Дві моделі повертають ту саму коротку відповідь, але одна з них — міркувальник. Чому вона може коштувати значно більше?
Продовжити в застосунку
Пройди весь курс «Інференс і залізо» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.