Урок 6 із 7

Витрати: залізо чи API

6 хв читання

Локальні моделі не коштують нічого за повідомлення — то невже запускати своє завжди дешевше, ніж платити за API?

Два способи, як працюють гроші

Два варіанти мають протилежні форми витрат. [API](glossary://api) — це оплата за фактом: близько до нуля на старті, зростає з кожним викликом — без стартових витрат, але воно ніколи не спиняється. Локально — навпаки: реальні стартові витрати (потужний комп'ютер плюс електрика на його роботу), а далі майже нічого за використання. Якщо відкласти це проти того, скільки ти користуєшся AI, ці дві лінії перетинаються.

Витрати на API зростають з кожним викликом; локально — великі стартові витрати, а тоді майже безкоштовно — лінії перетинаються.

Знайди свою точку беззбитковості

Для легкого чи нечастого використання API виграє легко — можна витратити копійки, тоді як залізо локального ніколи себе не окупить. Локально стає дешевшим лише за високого, стабільного обсягу використання — та й тоді люди часто обирають його заради приватності та офлайну більше, ніж заради грошей. Не гадай: оціни своє реальне використання й подивись, з якого боку перетину ти є.

Локально окуповується лише за високого, стабільного обсягу — нижче цього API з оплатою за фактом дешевший.

Рахуй залізо чесно. Машина, що комфортно тягне великі моделі, недешева, і вона споживає енергію — врахуй і те, і те в порівнянні, перш ніж називати локальне 'безкоштовним'.