Визуальное руководство по искусственному интеллекту

Генерация изображения в видео

Генерация изображения в видео превращает одно неподвижное изображение в короткий видеоклип.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее преобразования изображения в видео
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Модель использует изображение в качестве первого кадра или визуального якоря и на его основе изобретает правдоподобное движение. Это важно, потому что создатели могут точно определить, как будет выглядеть кадр, прежде чем анимировать его, что редко позволяет сделать только преобразование текста в видео.

Глубокое погружение

Большинство современных систем преобразования изображения в видео представляют собой модели скрытой диффузии видео. Входное изображение сжимается в скрытое изображение с помощью автокодировщика, и это скрытое изображение передается в сеть шумоподавления на каждом этапе, часто путем объединения его поканально с скрытыми шумами каждого кадра. Многие модели также вводят семантическое встраивание изображения, например встраивание изображения CLIP, посредством перекрестного внимания. Слои временного внимания позволяют кадрам обмениваться информацией, поэтому модель удаляет шумы всех кадров вместе в связный клип, который начинается с данного изображения. Stable Video Diffusion, выпущенный Stability AI в ноябре 2023 года, представляет собой хорошо документированный открытый пример с вариантами с 14 и 25 кадрами. Коммерческие инструменты, такие как Runway, Kling, Luma Dream Machine и Google Veo, предлагают преобразование изображения в видео, а открытые модели, такие как Wan и HunyuanVideo, имеют версии с кондиционированием изображения. Сила движения контролируется несколькими способами. Стабильная диффузия видео принимает значение «корзины движения», полученное на основе количества обучающих клипов оптического потока, а также на основе настройки частоты кадров. Это также добавляет шум к кондиционируемому изображению. Большее увеличение шума позволяет видео дальше отходить от входного сигнала, давая больше движения, но меньшую точность. Коммерческие инструменты обычно предоставляют слайдер движения, настройки камеры или текстовую подсказку, описывающую движение. Типичные артефакты включают морфинг (объекты сливаются друг с другом), изменение идентичности лиц через несколько секунд, дополнительные или деформированные конечности во время быстрого движения и плавание текстур, когда кажется, что мелкие узоры скользят по поверхностям. Другими распространенными проблемами являются плоский параллакс «2,5D», почти зависший результат при настройках низкого движения и физические ошибки в жидкостях и тканях. Распространенным заблуждением является то, что модель понимает 3D-сцену. Он предсказывает правдоподобные пиксели. Когда движущийся объект показывает, что находится за ним, модель не имеет информации об этой области и изобретает ее.

Реальная реализация

Фотограф продукта анимирует кадр флакона духов с плывущим туманом и медленным нажатием, создавая пятисекундную социальную рекламу без видеосъемки.

Музей анимирует отсканированный пейзаж так, что облака плывут, а вода колеблется, и помечает этот клип в галерее как созданный искусственным интеллектом.

Режиссер создает два кадра раскадровки с моделью изображения, а затем использует видеорежим первого и последнего кадра, чтобы получить контролируемый переход между ними.

Любитель локально запускает Stable Video Diffusion, повышает настройку движения, чтобы превратить спокойную пляжную фотографию в грохот волн, и видит, как лица на заднем плане начинают деформироваться.

Будущее преобразования изображения в видео

Длина клипа, разрешение и согласованность движения постоянно улучшаются, а управление первым и последним кадром и предустановки камеры становятся стандартными функциями. Физически правильное движение, стабильная идентичность на длинных клипах и надежная обработка закрытых областей по-прежнему остаются сложными проблемами, не имеющими общего решения. Ожидайте постепенного роста, а не внезапного скачка. Поскольку анимированные кадры становится все сложнее отличить от реальных кадров, подходы к происхождению, такие как учетные данные контента и четкая маркировка, будут иметь большее значение для новостей, архивов и образования.

Применение на практике

Почему это важно

  • Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
  • Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
  • Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.

Следите за

  • Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
  • Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
  • Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.

Следующие шаги

  1. Определите критерии приемки точности, стоимости отзыва и ошибок.
  2. Тестируйте с данными, которые соответствуют реальным производственным условиям.
  3. Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
  4. Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Image-to-Video Generation quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое генерация изображения в видео?

Генерация изображения в видео превращает одно неподвижное изображение в короткий видеоклип. Модель использует изображение в качестве первого кадра или визуального якоря и на его основе изобретает правдоподобное движение. Это важно, потому что создатели могут точно определить, как будет выглядеть кадр, прежде чем анимировать его, что редко позволяет сделать только преобразование текста в видео.

Во многих моделях скрытой диффузии видео, как входное изображение передается в шумоподавитель?

Скрытый шум изображения суммируется со скрытым шумом каждого кадра на каждом этапе шумоподавления, привязывая клип к входному сигналу.

Что представляет собой значение сегмента движения Stable Video Diffusion?

Тренировочные клипы были сгруппированы по объему оптического потока, который они содержали, поэтому значение определяет, насколько много движения будет иметь выходной сигнал.

Что произойдет, если увеличить уровень шума на кондиционируемом изображении?

Больше шума в условии ослабляет якорь, поэтому видео дальше отходит от входа: больше движения, больше дрейфа.

Почему пространство, открывающееся за движущимся объектом, часто выглядит придуманным?

В отдельном изображении ничего не содержится о том, что скрыто, и модель не реконструирует 3D-сцену, а потому догадывается.

В чем главный недостаток расширения клипа путем подачи его последнего кадра обратно в качестве нового входного сигнала?

Каждый сегмент наследует и добавляет недостатки предыдущего сегмента, поэтому дрейф увеличивается при повторных расширениях.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →