Глосарій
Що таке токен?
Одиниця, якою AI читає й пише: шматок тексту, часто ціле поширене слово, іноді лише частина довшого чи рідкіснішого. Модель бачить твій текст як послідовність таких шматків, а не як окремі літери.
Моделі не бачать ні окремих літер, ні цілих речень. Вони ріжуть текст на токени — у середньому це десь ¾ англійського слова — і крок за кроком передбачають наступний токен. Саме це розбиття називають «токенізацією».
1 слово · 3 токени — модель працює з кожним шматком окремо.
Токени важливі з двох дуже практичних причин: вартість і ліміти. Платять зазвичай саме за токени, а кожна модель тримає в полі зору лише обмежену їх кількість за раз — це її контекстне вікно.
Пов'язані терміни
Зустрічається в цих уроках
Побач наживо
Не просто читай визначення — пограйся з ним
Дивись, як текст ділиться на токени в реальному часі — це урок курсу «Як AI працює насправді», безкоштовно спробувати в застосунку.