ДалееСледующее руководство
Управление камерой при создании видео с помощью искусственного интеллекта
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Генерация изображения в видео превращает одно неподвижное изображение в короткий видеоклип.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Модель использует изображение в качестве первого кадра или визуального якоря и на его основе изобретает правдоподобное движение. Это важно, потому что создатели могут точно определить, как будет выглядеть кадр, прежде чем анимировать его, что редко позволяет сделать только преобразование текста в видео.
Большинство современных систем преобразования изображения в видео представляют собой модели скрытой диффузии видео. Входное изображение сжимается в скрытое изображение с помощью автокодировщика, и это скрытое изображение передается в сеть шумоподавления на каждом этапе, часто путем объединения его поканально с скрытыми шумами каждого кадра. Многие модели также вводят семантическое встраивание изображения, например встраивание изображения CLIP, посредством перекрестного внимания. Слои временного внимания позволяют кадрам обмениваться информацией, поэтому модель удаляет шумы всех кадров вместе в связный клип, который начинается с данного изображения. Stable Video Diffusion, выпущенный Stability AI в ноябре 2023 года, представляет собой хорошо документированный открытый пример с вариантами с 14 и 25 кадрами. Коммерческие инструменты, такие как Runway, Kling, Luma Dream Machine и Google Veo, предлагают преобразование изображения в видео, а открытые модели, такие как Wan и HunyuanVideo, имеют версии с кондиционированием изображения. Сила движения контролируется несколькими способами. Стабильная диффузия видео принимает значение «корзины движения», полученное на основе количества обучающих клипов оптического потока, а также на основе настройки частоты кадров. Это также добавляет шум к кондиционируемому изображению. Большее увеличение шума позволяет видео дальше отходить от входного сигнала, давая больше движения, но меньшую точность. Коммерческие инструменты обычно предоставляют слайдер движения, настройки камеры или текстовую подсказку, описывающую движение. Типичные артефакты включают морфинг (объекты сливаются друг с другом), изменение идентичности лиц через несколько секунд, дополнительные или деформированные конечности во время быстрого движения и плавание текстур, когда кажется, что мелкие узоры скользят по поверхностям. Другими распространенными проблемами являются плоский параллакс «2,5D», почти зависший результат при настройках низкого движения и физические ошибки в жидкостях и тканях. Распространенным заблуждением является то, что модель понимает 3D-сцену. Он предсказывает правдоподобные пиксели. Когда движущийся объект показывает, что находится за ним, модель не имеет информации об этой области и изобретает ее.
Фотограф продукта анимирует кадр флакона духов с плывущим туманом и медленным нажатием, создавая пятисекундную социальную рекламу без видеосъемки.
Музей анимирует отсканированный пейзаж так, что облака плывут, а вода колеблется, и помечает этот клип в галерее как созданный искусственным интеллектом.
Режиссер создает два кадра раскадровки с моделью изображения, а затем использует видеорежим первого и последнего кадра, чтобы получить контролируемый переход между ними.
Любитель локально запускает Stable Video Diffusion, повышает настройку движения, чтобы превратить спокойную пляжную фотографию в грохот волн, и видит, как лица на заднем плане начинают деформироваться.
Длина клипа, разрешение и согласованность движения постоянно улучшаются, а управление первым и последним кадром и предустановки камеры становятся стандартными функциями. Физически правильное движение, стабильная идентичность на длинных клипах и надежная обработка закрытых областей по-прежнему остаются сложными проблемами, не имеющими общего решения. Ожидайте постепенного роста, а не внезапного скачка. Поскольку анимированные кадры становится все сложнее отличить от реальных кадров, подходы к происхождению, такие как учетные данные контента и четкая маркировка, будут иметь большее значение для новостей, архивов и образования.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Генерация изображения в видео превращает одно неподвижное изображение в короткий видеоклип. Модель использует изображение в качестве первого кадра или визуального якоря и на его основе изобретает правдоподобное движение. Это важно, потому что создатели могут точно определить, как будет выглядеть кадр, прежде чем анимировать его, что редко позволяет сделать только преобразование текста в видео.
Скрытый шум изображения суммируется со скрытым шумом каждого кадра на каждом этапе шумоподавления, привязывая клип к входному сигналу.
Тренировочные клипы были сгруппированы по объему оптического потока, который они содержали, поэтому значение определяет, насколько много движения будет иметь выходной сигнал.
Больше шума в условии ослабляет якорь, поэтому видео дальше отходит от входа: больше движения, больше дрейфа.
В отдельном изображении ничего не содержится о том, что скрыто, и модель не реконструирует 3D-сцену, а потому догадывается.
Каждый сегмент наследует и добавляет недостатки предыдущего сегмента, поэтому дрейф увеличивается при повторных расширениях.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Управление камерой при создании видео с помощью искусственного интеллекта
Визуальный ИИ