Урок 2 із 7
Слова стають токенами
8 хв читання
Спитай AI, скільки літер «r» у слові «strawberry», і він цілком може відповісти «дві». Він за секунди напише тобі сонет, але прораховується в літерах слова, яке вміє написати першокласник. Ця помилка не випадкова — це підказка, як AI насправді читає.
Він не читає літери
Перш ніж AI передбачить бодай одне слово, твій текст ріжеться на шматки, які звуться токенами. Він ніколи не бачить «s-t-r-a-w-b-e-r-r-y» так, як ти. Його абетка — це не 26 літер, а фіксований словник із десятків тисяч чанків, і читає та пише він лише цими чанками.
Найменша одиниця моделі — це не літера й навіть не завжди слово, а токен: шматок тексту. Усе, що вона читає, вона читає як низку таких шматків.
Слова стають шматками
Як слово ділиться на шматки? Поширені слова трапляються так часто, що кожне отримує окремий токен — cat це один шматок. Рідкісні чи довгі слова — ні; їх складають зі менших частин, які модель бачила часто: strawberry розпадається на straw + berry. Потикай слова нижче й подивись, як той самий текст виглядає одним для тебе й іншим для AI.
Для моделі strawberry — це лише два шматки, straw і berry. Вона ніколи не бачить окремих літер усередині, тож трьох «r» їй просто нема де порахувати.
Чому це пояснює дивні речі
Щойно знаєш, що він читає шматками, ціла купа дивацтв стає зрозумілою. Він плутається в задачах на рівні літер — порахувати літери, написати слово навпаки, охайні рими й анаграми, — бо для них потрібні літери, яких він не бачить. Рідкісні слова й одруківки, що розлітаються на багато чудних шматків, збивають його більше, ніж поширені. Навіть ціна працює так само: текст, що ділиться на більше токенів, потребує більше роботи, щоб його прочитати й написати.
Токен — це атом моделі. Напрочуд багато її «сліпих плям» узагалі не про інтелект: вони ведуть прямо до того, що вона міркує шматками, а не символами.
Під капотом ці шматки визначає метод, який зветься byte-pair encoding: він починає з окремих символів і раз за разом зливає найчастішу сусідню пару в новий токен, тож поширені послідовності лишаються цілими, а рідкісні — по шматках. Кожна родина моделей має власний токенайзер, тож точний поділ може відрізнятися.
Прихована ціна шматків
Є ще одне місце, де шматки тихо даються взнаки: рахунок і годинник. Усе, що AI читає й пише, рахується в токенах, а не в словах, — тож текст, який ділиться на більше шматків, дорожче обробляти й довше на нього відповідати. Англійська пакується охайно — шматок-два на слово. Але інші мови, код, незвичні імена чи багато емодзі розлітаються на значно більше частин, тож те саме повідомлення може коштувати в кілька разів дорожче. Ось чому відповідь однією мовою може відчуватися повільнішою чи дорожчою за ту саму відповідь іншою.
Токен — це не лише те, як модель читає, а й одиниця, за якою її тарифікують і відлічують час. Менше, чистіших шматків — дешевші, швидші відповіді; текст, що дробиться на багато шматків, тихо коштує більше.
Підсумок
- —AI читає текст як токени — шматки, — а не як окремі літери
- —Поширені слова — один шматок; рідкісні чи довгі слова діляться на кілька частин
- —Оскільки він ніколи не бачить літер усередині шматка, задачі на рівні літер (рахунок, написання, рими) — саме там, де він спотикається
Хтось просить AI написати слово «lemonade» навпаки, літера за літерою, і він помиляється — хоча пише бездоганні абзаци. Чому саме ця задача для нього складна?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.