ДалееСледующее руководство
Почему ИИ-видео неправильно понимает физику
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Временная согласованность — это способность видеомодели AI сохранять стабильными лица, объекты, текстуры и освещение от одного кадра к другому.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Мерцание — это то, что вы видите, когда ничего не получается: детали мерцают, смещаются или незаметно меняются между кадрами. Это важно, потому что зрители замечают даже небольшие изменения от кадра к кадру, и это один из самых ярких признаков того, что кадры были созданы, а не сняты.
Впервые мерцание стало широко известной проблемой, когда люди создавали видео с помощью генераторов изображений. Если вы обесшумите каждый кадр отдельно, каждый кадр начинается со своего собственного случайного шума и делает свой собственный небольшой выбор текстуры, прядей волос или рисунка на рубашке. Каждый кадр выглядит нормально по отдельности, но воспроизводимые последовательно эти независимые варианты воспринимаются как мерцание. Современные видеогенераторы, в том числе Stable Video Diffusion (2023 г.), Sora компании OpenAI (предварительный просмотр состоялся в 2024 г.), модели Gen-3 Runway и Google Veo, генерируют кадры клипа вместе в сжатом скрытом пространстве и используют внимание во времени, поэтому каждый кадр формируется под влиянием других. Это основная причина, по которой недавние клипы гораздо более устойчивы, чем ранние эксперименты. Дрифт все еще происходит по нескольким причинам. Мелкие высокочастотные детали, такие как волосы, листва, вода и текст на экране, сложнее всего, потому что малейшие ошибки в мелких деталях проявляются в виде блесток. Когда что-то скрыто за другим объектом, модели приходится проносить свой внешний вид через зазор, и она может вернуть его немного другим. Более длинные видеоролики часто создаются путем удлинения или объединения более коротких клипов, а поскольку модель видит только ограниченное окно последних кадров, идентичность может со временем меняться. Сжатие в автокодировщике видео также может добавлять артефакты при соединении фрагментов. Существует несколько распространенных заблуждений. Мерцание – это не проблема, главным образом, частоты кадров, и повышение разрешения само по себе не решает эту проблему. Постобработка может сгладить мерцание яркости, но не может восстановить лицо персонажа после его изменения. Интерполяция кадров может сделать движение более плавным, но она также может смазать новые кадры дрейфом. Реальные исправления происходят во время генерации: временное внимание, обработка эталонного изображения и распространение информации из более ранних кадров в более поздние.
На сгенерированной куртке персонажа есть три пуговицы в одном кадре и четыре через мгновение, а затем снова три, потому что мелкие детали не были жестко привязаны к предыдущим кадрам.
Любитель кадр за кадром прогоняет модель изображения поверх танцевального клипа, чтобы она выглядела как картина маслом, а фоновые мазки ползут и кипят, потому что каждый кадр начинается с разного случайного шума.
Редактор применяет к AI-клипу фильтр подавления мерцания, чтобы сгладить импульсы яркости между кадрами. Освещение стабилизируется, но лицо, медленно меняющее форму, остается таким, каким оно было, потому что фильтр корректирует только яркость.
Создатель начинает с эталонной фотографии персонажа в режиме преобразования изображения в видео, поэтому первый кадр фиксирует личность, а лицо остается более устойчивым, чем при использовании только текстовой подсказки.
Исследования сосредоточены на более длительном контексте и явной памяти, поэтому модель может запомнить персонажа или комнату в течение нескольких минут, а не секунд. Генерация авторегрессии с кэшированным контекстом, улучшенная обработка ссылок и многократная блокировка символов являются активными направлениями как в исследовательских, так и в коммерческих инструментах. Такие тесты, как VBench, уже отдельно оценивают такие параметры, как временное мерцание и согласованность объекта, что облегчает измерение прогресса. Короткие клипы, вероятно, будут улучшаться быстрее, чем длинные, потому что стоимость резко возрастает с увеличением длины. Согласованность редактирования, окклюзий и вырезок сцен по-прежнему остается открытой проблемой, а не решенной.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Временная согласованность — это способность видеомодели AI сохранять стабильными лица, объекты, текстуры и освещение от одного кадра к другому. Мерцание — это то, что вы видите, когда ничего не получается: детали мерцают, смещаются или незаметно меняются между кадрами. Это важно, потому что зрители замечают даже небольшие изменения от кадра к кадру, и это один из самых ярких признаков того, что кадры были созданы, а не сняты.
Когда шумоподавление кадров производится независимо, каждый делает свой собственный небольшой выбор текстуры и детализации. Если играть последовательно, эти несвязанные варианты выбора выглядят как мерцание.
Создание клипа в целом, с вниманием, которое соединяет кадры, позволяет каждому кадру формироваться под влиянием других, что сокращает независимый дрейф.
Небольшие ошибки в мелких деталях проявляются в виде блесток или мерцания, поэтому волосы, листья, вода и текст являются обычными слабыми местами.
Инструменты дефликатора выравнивают изменения яркости. Они не могут восстановить личность или сведения об объекте, измененные генератором.
Если модель адаптируется только к последним кадрам, накапливаются небольшие изменения, и персонаж может отклониться от того, как он выглядел вначале.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Почему ИИ-видео неправильно понимает физику
Визуальный ИИ