Урок 7 із 9
Говори, дивись і слухай
5 хв читання
Ти набираєш текст. Але ти можеш і показати AI фото, заговорити до нього вголос чи поділитися екраном — і він усе це приймає. Як текстова машина дає раду картинці?
Багато чуттів, одне вікно
Це та сама ідея, яку ти вже знаєш, розтягнута ширше. Мультимодальний AI може приймати більше, ніж набрані слова, — фото твого холодильника, скріншот помилки, усне питання, PDF. Байдуже що саме: кожне перетворюється на токени, які модель уміє читати, і лягає на те саме спільне вікно поряд із твоїм текстом. Клацни фото рослини й спитай, що з нею не так; встав скріншот і спитай, що означає помилка; говори замість набирати на прогулянці. Різні чуття на вході — одна розмова.
Мультимодальний AI приймає зображення, голос і документи так само, як текст. Кожне перетворюється на токени й приєднується до того самого контекстного вікна, тож ти можеш вільно змішувати їх в одній розмові.
Показуй, а не розписуй
Це змінює те, як ти питаєш. Замість описувати проблему ретельними словами, просто покажи її: фото, скріншот, чек. Це зазвичай швидше й менш схильне до помилок, ніж усе набирати, — картинка справді варта того абзацу, який тобі не довелося писати. Голос, так само, часто найлегший шлях, коли руки зайняті або питання швидке.
Коли щось легше показати, ніж описати, покажи це — фото чи скріншот часто кращі за абзац пояснень і дають чіткішу відповідь.
Застрягаєш, описуючи щось хитромудре — екран налаштувань, висип, дивний звук, який видає твоя машина? Краще зроби фото чи скріншот і передай його. Показати краще, ніж розписувати.
Підсумок
- —Мультимодальні AI приймають зображення, голос, скріншоти й документи — а не лише набраний текст
- —Кожен вхід стає токенами й приєднується до того самого контекстного вікна, тож ти можеш вільно їх змішувати
- —Коли щось легше показати, ніж описати, покажи це — так швидше й зрозуміліше
На твоєму комп'ютері вискакує загадкове віконце помилки. Який найшвидший спосіб змусити AI пояснити його?
Продовжити в застосунку
Пройди весь курс «Працюємо з AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.