Урок 7 із 9
Говори, дивись і слухай
5 хв читання
Досі це був набраний текст. Але AI можна й показати фото, заговорити до нього вголос чи поділитися екраном — і він усе це прийме. Як текстова машина дає раду картинці?
Багато чуттів, одне вікно
Це та сама ідея, яку ти вже знаєш, тільки ширша. Мультимодальний AI приймає не лише набрані слова — фото твого холодильника, скріншот помилки, усне питання, PDF. Байдуже що саме: кожне перетворюється на токени, які модель уміє читати, і лягає на те саме спільне вікно поряд із твоїм текстом. Клацни фото рослини й спитай, що з нею не так; встав скріншот і спитай, що означає помилка; на прогулянці говори, а не набирай. Різні чуття на вході — одна розмова.
Мультимодальний AI приймає зображення, голос і документи так само, як текст. Кожне перетворюється на токени й приєднується до того самого контекстного вікна, тож їх можна вільно змішувати в одній розмові.
Показуй, а не розписуй
Через це й питаєш інакше. Замість описувати проблему ретельними словами — просто покажи її: фото, скріншот, чек. Так зазвичай швидше, і менше шансів помилитися, ніж усе набирати: одна картинка справді варта абзацу, якого не довелося писати. Голос — так само: часто це найпростіший шлях, коли руки зайняті або питання дрібне.
Коли щось легше показати, ніж описати, покажи це — фото чи скріншот часто кращі за абзац пояснень і дають чіткішу відповідь.
Застрягаєш, описуючи щось хитромудре — екран налаштувань, висип, дивний звук, що видає твоє авто? Краще зроби фото чи скріншот і передай його. Показати краще, ніж розписувати.
Підсумок
- —Мультимодальні AI приймають зображення, голос, скріншоти й документи — а не лише набраний текст
- —Кожен вхід стає токенами й приєднується до того самого контекстного вікна, тож їх можна вільно змішувати
- —Коли щось легше показати, ніж описати, покажи це — так швидше й зрозуміліше
На твоєму комп'ютері вискакує загадкове віконце помилки. Який найшвидший спосіб змусити AI пояснити його?
Продовжити в застосунку
Пройди весь курс «Працюємо з AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.