Урок 6 із 7
Тепер зі звуком
7 хв читання
Довгий час AI-відео виходило німим, і звук доводилося додавати потім. Тепер найновіші інструменти генерують звук разом із картинкою: кроки, що лягають точно на крок, голос, що пасує обличчю. Звідки береться звук кліпу?
Відео було німим
Донедавна AI-відео було німим кіно. Інструмент робив картинку, а будь-який звук (голоси, кроки, музику) доводилося потім додавати самому в монтажі. Найновіші моделі це змінили: відповідний звук тепер генерується водночас із відео, тож хвиля, що розбивається, справді звучить як хвиля, а голос людини збігається з її обличчям. Звук, згенерований разом із картинкою, часто називають рідним звуком.
Старіші інструменти робили німі кліпи, і звук доводилося додавати пізніше. Новіші генерують рідний звук: він створюється разом із картинкою, вже синхронно.
Звукова доріжка — це шари
Згенерований чи доданий, звук відео насправді складається з кількох накладених шарів: діалог (люди говорять), звукові ефекти (кроки, двері, сплеск) і ембієнт (тон приміщення, вітер, далекий транспорт) плюс музика. Мислити шарами потужно, бо кожен можна зробити гучнішим, тихішим або вимкнути окремо.
Звук відео — це стос шарів (діалог, звукові ефекти, ембієнт і музика), і кожен налаштовується окремо.
Говорити будь-якою мовою
Один шар особливий — діалог. Заміни його новим записом іншою мовою й пересинхронізуй рот (той самий lip-sync із минулого уроку) — і те саме відео тепер заговорить цією мовою. Це dubbing, і AI робить його швидко: один кліп, багато мов, і рот збігається в кожній.
Коли ти дублюєш, змінюється лише шар діалогу, а звукові ефекти й ембієнт лишаються на місці. Ось чому важливо мислити шарами: ти перекладаєш мовлення, не чіпаючи ні кроків, ні музики, ні тону приміщення.
Суть
- —Старіші AI-кліпи були німими; новіші інструменти генерують рідний звук — звук, зроблений разом із картинкою, синхронно
- —Звукова доріжка — це шари (діалог, звукові ефекти, ембієнт, музика), кожен налаштовується окремо
- —Дубляж міняє лише шар діалогу на іншу мову й пересинхронізує рот — один кліп, багато мов
У тебе є готовий AI-кліп англійською, і ти хочеш українську версію — той самий матеріал, ті самі кроки й музика, але людина говорить українською, і губи збігаються. Що ти робиш?
Продовжити в застосунку
Пройди весь курс «AI-відео» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.