Урок 6 із 7
Як зрізати рахунок за інференс
7 хв читання
Дві команди запускають ту саму фічу на тій самій моделі. Рахунок однієї вдесятеро більший. Ніхто не робить нічого хитромудрого: одна просто покрутила кілька ручок, до яких інша не дійшла.
Вартість — це формула, а не загадка
Хоч ти викликаєш API, хоч хостиш сам, рахунок береться з того самого: скільки запитів, скільки токенів на вхід і вихід у кожному та наскільки дорога модель за токен. Цю формулу можна прикинути наперед, і кожен її член — це важіль. Зміни рівень моделі чи кількість токенів — і рахунок зрушиться передбачувано, ще до релізу.
Твій рахунок — не сюрприз наприкінці місяця. Це запити на токени на ціну; спершу прикинь, а тоді тягни той член, що його розганяє.
Важелі, що справді його рухають
Кілька звичок різко зрізають рахунок. Підбери розмір моделі: бери найменшу, що проходить твою планку якості, а не флагман за замовчуванням. Підріж токени: коротші промпти й обмежені виходи коштують менше на кожному виклику. Батчуй нетермінову роботу: пакетна обробка виміняє швидкість на нижчу ставку. І кешуй: кешування промптів повторно використовує повторюваний контекст, а не платить за нього щоразу. Складені разом, ці звички регулярно зрізають більшу частину рахунку.
Великі виграші нудні: менша модель, менше токенів, батчинг і кеш. Жоден не хитромудрий, але разом вони — різниця між рахунком у $100 і в $1000.
Виміряй, перш ніж оптимізувати. Знайди, які запити з'їдають найбільше токенів, і берися за них першими: зрізати рідкісний виклик не дасть нічого.
Суть коротко
- —Рахунок = запити × (вхідні + вихідні токени) × ціна моделі за токен.
- —Підбери розмір моделі — найменшу, що проходить твою планку якості, а не найбільшу.
- —Підріж токени, батчуй нетермінові задачі й кешуй повторюваний контекст.
- —Спершу оціни формулу, потім тягни той член, що домінує в рахунку.
Твій рахунок за інференс завеликий. Який хід з найбільшим важелем зробити першим?
Продовжити в застосунку
Пройди весь курс «Інференс і залізо» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.