Урок 3 із 7
Вхід проти виходу
6 хв читання
І вхід, і вихід — це токени, то чому відповідь коштує в кілька разів більше за надісланий промпт?
Читати дешево, писати дорого
Вхідні токени — твій промпт і вся історія — читаються одним проходом, тому дешеві. Вихідні токени, тобто сама відповідь, генеруються по одному, і кожен крок наново проганяє всю модель, тому зазвичай коштують приблизно у 5× більше за токен. Що довшу відповідь просиш, то більше росте цей бік рахунку.
Вихід коштує ~5× за вхід — відповідь і є дорога частина.
Ти переплачуєш історію щоходу
Модель не пам'ятає чат між ходами, тож кожне повідомлення знову надсилає всю розмову як вхід. Десятий хід платить за перечитування ходів з першого по дев'ятий. Ось чому довгі чати дорожчають із кожною відповіддю, а для нової теми дешевше почати свіжий чат.
Кожен хід переплачує всю розмову як свіжий вхід.
Для дешевшої й точнішої відповіді: тримай розмову зосередженою, починай заново для нових тем і не проси більше слів, ніж потрібно.
Куди йдуть гроші
- —Вхід (промпт + історія) дешевий; читається раз.
- —Вихід (відповідь) коштує ~5× — робиться токен за токеном.
- —Кожен хід переплачує всю історію — довгі чати дорожчі.
Чому довга розмова з часом дорожчає?
Продовжити в застосунку
Пройди весь курс «Скільки коштує AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.