Урок 6 із 7
Як зрізати рахунок за інференс
7 хв читання
Дві команди запускають ту саму фічу на тій самій моделі. Рахунок однієї вдесятеро більший. Ніхто не робить нічого хитрого — одна просто покрутила кілька ручок, яких інша не покрутила.
Вартість — це формула, а не загадка
Хоч ти викликаєш API, хоч хостиш власноруч, рахунок береться з того самого: скільки запитів, скільки токенів на вхід і вихід кожного, і наскільки дорога модель за токен. Це формула, яку можна оцінити наперед — і кожен її член є важелем. Зміни рівень моделі чи кількість токенів — і рахунок зрушиться так, як ти можеш передбачити ще до релізу.
Твій рахунок — не сюрприз наприкінці місяця. Це запити помножити на токени помножити на ціну — оціни спершу, потім тягни той член, що його розганяє.
Важелі, що справді його рухають
Кілька звичок різко зрізають рахунок. Підбери розмір моделі: бери найменшу, що проходить твою планку якості, а не флагман за замовчуванням. Підріж токени: коротші промпти й обмежені виходи коштують менше на кожному виклику. Батч несрочної роботи — пакетна обробка міняє швидкість на нижчу ставку. І кешуй: кешування промптів повторно використовує однаковий контекст замість платити за нього знову. Складені разом, вони регулярно зрізають рахунок на більшу його частину.
Великі виграші нудні: менша модель, менше токенів, батчинг і кеш. Жоден не хитрий — разом вони різниця між рахунком у $100 і в $1000.
Виміряй перед оптимізацією. Знайди, які запити домінують у твоїй кількості токенів, і виправ їх першими — зрізати рідкісний виклик не дає нічого.
Суть коротко
- —Рахунок = запити × (вхідні + вихідні токени) × ціна моделі за токен.
- —Підбери розмір моделі — найменшу, що проходить твою планку якості, а не найбільшу.
- —Підріж токени, батч несрочні задачі й кешуй однаковий контекст.
- —Спершу оціни формулу, потім тягни той член, що домінує в рахунку.
Твій рахунок за інференс завеликий. Який хід з найбільшим важелем зробити першим?
Продовжити в застосунку
Пройди весь курс «Інференс і залізо» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.