Урок 2 із 7
Що таке токен?
5 хв читання
На сторінках цін ідеться про «токени» й долари за мільйон. Що таке токен — і чому саме це одиниця, за яку тобі виставляють рахунок?
Одиниця оплати AI
Токен — це шматок тексту, приблизно ¾ слова. Орієнтовне правило: ~4 символи ≈ 1 токен, а 100 токенів ≈ 75 слів. Моделі читають і пишуть у токенах, тож у токенах ти й платиш. І твій вхід, і вихід моделі рахують саме так.
Саме токени, а не слова, модель читає, пише й тарифікує.
Чому не рахувати просто слова?
Токени не лягають рівно на слова: часті слова — один токен, рідкісні чи довгі розпадаються на кілька, а пробіли й пунктуація теж рахуються. Ось чому та сама думка коштує дорожче в одних мовах, ніж в інших — і чому «ціна за мільйон токенів» є на кожній сторінці цін.
Токен — не слово: тарифікація за токен, тож підрахунок слів дає лише приблизну оцінку рахунку.
Щоб перевірити ціну, переведи: помнож кількість слів на ~1,3, щоб отримати токени, тоді застосуй ставку за мільйон.
Основи токенів
- —~4 символи ≈ 1 токен; 100 токенів ≈ 75 слів.
- —Тобі виставляють рахунок за токен — за вхід і вихід.
- —Рідкісні/довгі слова й інші мови використовують більше токенів.
Приблизно скільки тексту — це 100 токенів?
Продовжити в застосунку
Пройди весь курс «Скільки коштує AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.