Урок 5 із 7
Підбери модель під задачу
6 хв читання
Та сама робота може коштувати у 20× більше на одній моделі, ніж на іншій. То навіщо взагалі платити за дорогу — і коли варто?
Найбільший важіль
Рівні моделей охоплюють широкий діапазон цін — часто 5–25× від найлегшої до флагманської. Більша не завжди краща для конкретної задачі: підсумовування, сортування й прості відповіді рідко потребують топової моделі. Підбір під задачу означає почати з найдешевшої моделі, що ще дотягує до твоєї планки якості, і підніматися вище лише тоді, коли вона справді не впорається.
Вибір моделі під задачу — найбільший окремий важіль вартості.
Дві знижки згори
Коли модель правильна, два механізми заощаджують ще більше. Кешування промпту повторно використовує вже опрацьований шматок промпту, а не перечитує його щоразу, чим зменшує вартість повторюваного входу. Пакетна обробка проганяє нетермінові завдання разом приблизно за півціни. Але жодне не зарадить, якщо спершу переплачуєш за модель не того розміру: спершу розмір, потім знижки.
Кешування й батчинг допомагають — але лише після підбору моделі під задачу.
За замовчуванням бери найдешевшу спроможну модель; лишай флагман для складних випадків, що справді його потребують, а решту спрямовуй дешево.
Зрізаємо рахунок, по черзі
- —Спершу підбір: найдешевша модель, що проходить.
- —Кешування промпту зрізає вартість повторюваного входу.
- —Батч нетермінових завдань — ~50% знижки.
Який найбільший важіль зрізання рахунку за AI?
Продовжити в застосунку
Пройди весь курс «Скільки коштує AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.