Глосарій
Що таке увага (attention) у трансформері?
Те, як модель визначає, на які з попередніх слів має зважати кожне слово. Для кожного вона озирає весь текст, зважує решту за важливістю й вбирає зміст із тих, що справді важать, — саме так з'ясовує, на що вказує слово на кшталт «it». Це головний механізм усередині трансформера.
Читаючи текст, кожне слово має знати, від яких ІНШИХ слів воно залежить. У «кіт сів, бо він втомився» — чи «він» означає кота? Увага — це механізм, що дозволяє кожному слову озирнутися назад і зважити, наскільки кожне попереднє слово для нього важить.
Наскільки кожне слово зважає на інші
Читай рядок: «it» найдужче дивиться на «cat» — так модель зʼясовує, на що вказує «it».
Складена в багато шарів, увага дозволяє трансформеру відстежувати зміст крізь усе контекстне вікно — прорив 2017 року, що стоїть за кожною сучасною мовною моделлю.
Пов'язані терміни
Зустрічається в цих уроках
Побач звʼязок
Дивись, як слово знаходить свій референт
«Як AI працює насправді» підсвічує, які слова на які зважають, наживо — безкоштовно спробувати в застосунку.