Урок 4 із 7
Найскладніше: лишатися сталим
7 хв читання
У AI-відео є одна вперта слабкість. Попроси більше за кілька секунд — і об'єкт починає «пливти»: обличчя перекроюється, колір зсувається, лого перетворюється на кашу. Чому саме тривалість найскладніша?
Кожен кадр має узгоджуватися
Пам'ятаєш, що кліп — це низка кадрів, кожен згенерований. Щоб він виглядав справжнім, кожен кадр має узгоджуватися з попереднім: той самий персонаж, той самий одяг, ті самі кольори. Ця узгодженість у часі — і є вся гра, і вона справді складна: крихітні відмінності між кадрами накопичуються, і за кілька секунд складаються в об'єкт, що тихо здрейфував у щось інше.
Наскільки кожен кадр узгоджується із сусідніми — це temporal consistency. Дрібні похибки між кадрами накопичуються, тож що довше триває кліп, то більше об'єкт дрейфує.
Ось чому кліпи короткі
Це і є справжня причина, чому кліпи лишаються короткими — не лише вартість, а дрейф. Інструмент здатен утримати об'єкт цілим кілька секунд; розтягни довше — і все розлазиться. Тому сьогодні кліпи обмежені кількома секундами, а якщо вийти за межу — чекай, що обличчя попливуть, а деталі почнуть блукати.
Тривалість і сталість тягнуть у різні боки: що довший кліп, то більше він дрейфує. Саме цей компроміс робить кліпи короткими за замовчуванням.
Як усе ж зробити довше
То як люди роблять хвилинне відео? Вони не просять один довгий кліп. Вони роблять кілька коротких і з'єднують їх один за одним — зшивають, — часто беручи останній вдалий кадр одного кліпу за стартовий keyframe наступного, щоб він підхопив там, де попередній закінчився. Більше роботи, але кожен шматок лишається сталим.
Плануй довгі відео як серію коротких кадрів, а не один довгий дубль. Тримай кожен кліп достатньо коротким, щоб він лишався сталим, тоді зшивай — і перевикористовуй фінальний кадр як старт наступного, щоб стик був непомітним.
Суть
- —Temporal consistency — це узгодженість кожного кадру з наступним; дрібні похибки накопичуються з часом
- —Що довше триває кліп, то більше об'єкт дрейфує — тому кліпи лишаються короткими
- —Щоб зробити довше, роби кілька коротких кліпів і зшивай їх, перевикористовуючи останній кадр як старт наступного
Твій п'ятисекундний кліп виглядає ідеально, але коли ту саму генерацію тягнеш до п'ятнадцяти секунд, обличчя персонажа постійно перекроюється. Що відбувається і як це виправити?
Продовжити в застосунку
Пройди весь курс «AI-відео» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.