Урок 4 із 7
Найскладніше: лишатися сталим
7 хв читання
У AI-відео є одна вперта слабкість. Попроси більше за кілька секунд — і об'єкт починає «пливти»: обличчя перекроюється, колір зсувається, лого перетворюється на кашу. Чому саме тривалість найскладніша?
Кожен кадр має узгоджуватися
Пам'ятаєш, що кліп — це низка кадрів, і кожен згенерований окремо. Щоб він виглядав справжнім, кожен кадр має узгоджуватися з попереднім: той самий персонаж, той самий одяг, ті самі кольори. Уся суть саме в цій узгодженості в часі, і дається вона справді важко: крихітні відмінності між кадрами накопичуються й за кілька секунд складаються в об'єкт, що тихо здрейфував у щось інше.
Наскільки кожен кадр узгоджується із сусідніми — це temporal consistency. Дрібні похибки між кадрами накопичуються, тож що довше триває кліп, то більше об'єкт дрейфує.
Ось чому кліпи короткі
Це і є справжня причина, чому кліпи лишаються короткими: не лише вартість, а й дрейф. Інструмент здатен утримати об'єкт цілим кілька секунд, та розтягни довше — і все розлазиться. Тому сьогодні кліпи обмежені кількома секундами, а вийдеш за межу — чекай, що обличчя попливуть, а деталі почнуть блукати.
Тривалість і сталість тягнуть у різні боки: що довший кліп, то більше дрейфує. Саме цей компроміс і робить кліпи короткими за замовчуванням.
Як усе ж зробити довше
То як люди роблять хвилинне відео? Не просять один довгий кліп, а роблять кілька коротких і з'єднують їх один за одним — це і є зшивання. Часто останній вдалий кадр одного кліпу беруть за стартовий keyframe наступного, щоб той підхопив там, де попередній закінчився. Роботи більше, зате кожен шматок лишається сталим.
Плануй довгі відео як серію коротких кадрів, а не один довгий дубль. Тримай кожен кліп достатньо коротким, щоб він лишався сталим, а тоді зшивай і бери фінальний кадр за старт наступного, щоб стик був непомітним.
Суть
- —Temporal consistency — це узгодженість кожного кадру з наступним; дрібні похибки накопичуються з часом
- —Що довше триває кліп, то більше об'єкт дрейфує — тому кліпи лишаються короткими
- —Щоб зробити довше, роби кілька коротких кліпів і зшивай їх, беручи останній кадр за старт наступного
Твій п'ятисекундний кліп виглядає ідеально, але коли ту саму генерацію тягнеш до п'ятнадцяти секунд, обличчя персонажа постійно перекроюється. Що відбувається і як це виправити?
Продовжити в застосунку
Пройди весь курс «AI-відео» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.