Урок 5 із 7
Підбери модель під задачу
6 хв читання
Та сама робота може коштувати у 20× більше на одній моделі, ніж на іншій. То навіщо взагалі платити за дорогу — і коли варто?
Найбільший важіль
Рівні моделей охоплюють широкий діапазон цін — часто 5–25× від найлегшої до флагманської. Більша не завжди краща для конкретної задачі: підсумовування, сортування й прості відповіді рідко потребують топової моделі. Підбір під задачу означає почати з найдешевшої моделі, що ще проходить твою планку якості, і підніматись лише коли вона справді не впорається.
Вибір моделі під задачу — найбільший окремий важіль вартості.
Дві знижки згори
Коли модель правильна, два механізми зрізають ще. [Кешування промпту](glossary://prompt-caching) повторно використовує вже опрацьований шматок промпту замість перечитувати його, зменшуючи вартість повторюваного входу. [Пакетна обробка](glossary://batch-processing) проганяє нетермінові завдання разом приблизно за півціни. Жодне не важить, якщо ти спершу переплачуєш за модель не того розміру — розмір іде перед знижками.
Кешування й батчинг допомагають — але лише після підбору моделі під задачу.
За замовчуванням бери найдешевшу спроможну модель; лишай флагман для складних випадків, що справді його потребують, а решту спрямовуй дешево.
Зрізаємо рахунок, по черзі
- —Спершу підбір: найдешевша модель, що проходить.
- —Кешування промпту зрізає вартість повторюваного входу.
- —Батч нетермінових завдань — ~50% знижки.
Який найбільший важіль зрізання рахунку за AI?
Продовжити в застосунку
Пройди весь курс «Скільки коштує AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.