Урок 5 із 7
Оживи фото мовою
7 хв читання
Дай інструменту одне фото людини й запис голосу — і він може змусити це обличчя вимовити слова: рот рухається в такт, наче її знімали на камеру. Як нерухоме фото починає говорити?
Обличчя плюс голос
Це інший трюк, ніж кліпи, які ми робили досі. Замість описувати сцену, ти даєш інструменту дві речі: нерухоме зображення обличчя — фото або згенерований портрет — і аудіодоріжку мовлення. Інструмент оживлює обличчя так, що воно ніби вимовляє саме ці слова, з природними легкими рухами голови. Результат — говорючий аватар, і саме так роблять багато AI-ведучих і пояснювальних відео.
Нерухоме обличчя плюс голосова доріжка, оживлені так, що людина ніби говорить, — це говорючий аватар. Ти даєш обличчя й аудіо; інструмент дає рух.
Підлаштувати рот під звук
Суть — правильно зробити рот. Кожен звук мовлення має свою форму рота: губи стуляються на м, округлюються на о, показують зуби на ф. Інструмент слухає аудіо, визначає, який звук лунає в кожну мить, і малює відповідну форму рота на тому кадрі. Вирівняй ці форми зі звуками — і обличчя виглядає так, ніби справді говорить. Це вирівнювання називають lip-sync.
Lip-sync — це підлаштування кожної форми рота під звук, який лунає в ту мить. Правильні форми й тайминг — і нерухоме обличчя читається як таке, що справді говорить.
Корисно — і легко зловживати
Говорючі аватари справді корисні: ведучий, якому не потрібна студія; пояснювач, записаний раз і оновлюваний редагуванням сценарію; або та сама людина, яка ніби говорить мовою, якої не знає. Але той самий трюк може змусити справжню людину сказати те, чого вона ніколи не казала. Це і є межа між корисним аватаром і дипфейком.
Роби говорючого аватара людини лише з її чіткого дозволу — і, де це важливо, зазнач, що це згенеровано AI. Змусити справжню людину ніби казати те, чого вона не казала, без згоди — це саме те, як роблять шкідливі дипфейки.
Суть
- —Говорючий аватар = нерухоме обличчя + голосова доріжка, оживлені так, що людина ніби говорить
- —Lip-sync — це основа: кожен звук мовлення підлаштований під свою форму рота, кадр за кадром
- —Потужно для ведучих і дубляжу — але лише зі згодою; без неї це дипфейк
Ти подаєш портретне фото й аудіозапис у інструмент для говорючих аватарів. Що інструмент переважно робить, щоб це виглядало переконливо?
Продовжити в застосунку
Пройди весь курс «AI-відео» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.