Урок 6 із 7
Звук теж приходить
7 хв читання
Довгий час AI-відео виходило німим — звук доводилося додавати потім. Тепер найновіші інструменти генерують звук разом із картинкою: кроки, що лягають точно на крок, голос, що пасує обличчю. Звідки береться звук кліпу?
Відео було німим
Донедавна AI-відео було німим кіно. Інструмент робив картинку; будь-який звук — голоси, кроки, музику — доводилося додавати самостійно в монтажі потім. Найновіші моделі це змінили: вони генерують відповідний звук водночас із відео, тож хвиля, що розбивається, справді звучить як хвиля, а голос людини збігається з її обличчям. Звук, згенерований разом із картинкою, часто називають рідним звуком.
Старіші інструменти робили німі кліпи, і звук доводилося додавати пізніше. Новіші генерують рідний звук — звук створюється разом із картинкою, вже синхронно.
Звукова доріжка — це шари
Згенерований чи доданий, звук відео насправді складається з кількох шарів: діалог (люди говорять), звукові ефекти — кроки, двері, сплеск — і ембієнт (тон приміщення, вітер, далекий транспорт) плюс музика. Мислити шарами потужно, бо кожен можна зробити гучнішим, тихішим чи вимкнути окремо.
Звук відео — це стос шарів: діалог, звукові ефекти, ембієнт/музика, — і кожен налаштовується окремо.
Говорити будь-якою мовою
Один шар особливий: діалог. Заміни його новим записом іншою мовою й пересинхронізуй рот — той самий lip-sync з минулого уроку — і те саме відео тепер говорить цією мовою. Це dubbing, і AI робить його швидко: один кліп, багато мов, і рот збігається в кожній.
Коли ти дублюєш, змінюється лише шар діалогу — звукові ефекти й ембієнт лишаються на місці. Ось чому важливо мислити шарами: ти перекладаєш мовлення, не чіпаючи кроків, музики чи тону приміщення.
Суть
- —Старіші AI-кліпи були німими; новіші інструменти генерують рідний звук — звук, зроблений разом із картинкою, синхронно
- —Звукова доріжка — це шари: діалог, звукові ефекти, ембієнт/музика, — кожен налаштовується окремо
- —Дубляж міняє лише шар діалогу на іншу мову й пересинхронізує рот — один кліп, багато мов
У тебе є готовий AI-кліп англійською, і ти хочеш українську версію — той самий матеріал, ті самі кроки й музика, але людина говорить українською, і губи збігаються. Що ти робиш?
Продовжити в застосунку
Пройди весь курс «AI-відео» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.