Урок 5 із 7
Кидок кубиків
10 хв читання
Ти пишеш «Сьогодні погода» й тиснеш «вперед». AI міг би написати «сонячна», «крижана», «розкішна» — навіть цілий вірш. Він не знає, яке слово правильне. То як він зупиняється на одному? Він грає на шансах.
Не одне слово — шанси на кожне
Минулого уроку верх трансформера перетворював твій текст на «здогад про наступне слово». Ось що цей здогад насправді таке. Модель не обирає слово — вона оцінює кожен токен у своєму словнику й перетворює ці оцінки на ймовірності. Для «Сьогодні погода» вона може дати сонячна 40%, хмарна 22%, холодна 15% і довгий хвіст із тисяч інших. Її справжній вихід — увесь цей ранжований список шансів.
Справжня відповідь моделі — не слово, а ймовірність для кожного можливого наступного слова водночас. Зупинитися на одному — це окремий крок.
А тоді кидає кубики
Щоб реально писати, вона мусить зупинитися на одному слові — тож витягує його з тих шансів, наче тягне з мішка, де кульки різної ваги. Зазвичай перемагає ймовірне слово, але не завжди. Тоді вона додає це слово до твого тексту й проганяє всю машину знову — заради наступного слова, і наступного, — вибудовуючи відповідь по одному токену.
Речення не планується наперед. Воно народжується токен за токеном, кожен витягнутий заново з шансів, а тоді поданий назад, щоб сформувати наступне слово.
Ручка креативності
Наскільки сміливо вона тягне з мішка — це одне налаштування: температура. Скрути її вниз — і модель майже завжди бере свій найкращий варіант: стабільно, передбачувано, трохи нудно. Скрути вгору — і малоймовірні слова дістають реальний шанс: несподівано, творчо, іноді геть не туди. Шанси під сподом не змінюються; температура лише перебудовує, наскільки різко модель віддає перевагу фавориту.
Температура не вчить модель нічого нового — вона лише регулює, наскільки та грає обережно чи ризикує, кидаючи кубики.
Під капотом перетворення сирих оцінок на ймовірності зветься softmax; зупинка на одному слові — семплування; а подання кожного обраного токена назад, щоб вибрати наступний, — це те, що означає авторегресія. Це та сама модель, запущена знову і знову — по разу на слово.
Підсумок
- —Вихід моделі — не слово, а ймовірність для кожного можливого наступного токена
- —Вона пише, витягуючи одне слово з тих шансів, а тоді повторює для наступного — токен за токеном
- —Температура регулює гру: низька грає безпечно на топ-слові, висока пропускає малоймовірні
Ти ставиш AI те саме питання двічі й отримуєш дві різні відповіді, слово в слово. Яка найімовірніша причина?
Продовжити в застосунку
Пройди весь курс «Як AI працює насправді» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.