Визуальное руководство по искусственному интеллекту

Портретная анимация из одной фотографии

Портретная анимация из одной фотографии делает движение неподвижного лица, включая поворот, моргание, изменение выражения лица или разговор.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее портретной анимации на основе одной фотографии
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он работает путем переноса движения из видео- или аудиодорожки вождения на исходное изображение. Он используется для создания аватаров с говорящими головами, анимированных семейных фотографий и видеороликов ведущих, и это вызывает опасения по поводу согласия, поскольку одной публичной фотографии достаточно.

Глубокое погружение

Каждая система состоит из четырех частей: исходное изображение, обеспечивающее внешний вид, управляющий сигнал (видео другого лица или аудио), представление движения и генератор, который искажает источник и заполняет пробелы. Модель движения первого порядка (Сиарохин и др., NeurIPS 2019) задала шаблон. Он изучает ключевые точки без каких-либо меток вместе с локальными аффинными преобразованиями вокруг каждой из них. На основе исходных и управляющих ключевых точек он прогнозирует плотное поле движения, которое представляет собой попиксельный поток, а также карту окклюзии, отмечающую области, которые исходное изображение не может предоставить. Он искажает карты объектов источника вместе с потоком и закрашивает декодером перекрытые области. Он также использует относительную передачу движения: он применяет то, как ключевые точки движения перемещаются относительно первого кадра видео движения, а не их абсолютные положения, поэтому источник сохраняет свою собственную форму лица. SadTalker (CVPR 2023) анимирует из аудио. Он прогнозирует коэффициенты 3D-морфируемой модели на основе речи, используя ExpNet для выражения и PoseVAE для положения головы, а затем визуализирует их с помощью генератора лиц на основе ключевых точек. LivePortrait, выпущенный Kuaishou в 2024 году, использует неявные ключевые точки, обученные на большом наборе данных. Он добавляет модуль сшивания, который вставляет анимированное лицо обратно в полное изображение без смещения плеч, а также модули перенацеливания для открытия глаз и губ. Это достаточно быстро для использования на графическом процессоре практически в реальном времени. Методы, основанные на диффузии, такие как EMO от Alibaba и открытый проект Hallo, дают более выразительные результаты при гораздо более высоких вычислительных затратах. На одной фотографии нет информации о боках головы, внутренней части рта или зубах, поэтому эти области вымышлены. Большие повороты головы вытягивают лицо, фон и волосы могут деформироваться вместе с ним, а личность может смещаться. Распространенным заблуждением является то, что эти инструменты создают полную 3D-модель человека. Даже методы, основанные на 3DMM, используют лишь приблизительную модель лица.

Реальная реализация

Генеалогическое приложение анимирует отсканированную фотографию прабабушки и дедушки легкой улыбкой и морганием. Несколько секунд это выглядит убедительно, но теряет смысл, если голова сильно поворачивается.

Команда электронного обучения использует конвейер в стиле SadTalker, чтобы превратить снимок докладчика и аудиозапись во вступление к курсу с говорящей головой.

Автор записывает себя на веб-камеру, чтобы создать иллюстрированный портрет персонажа с помощью LivePortrait, используя элементы управления ретаргетингом, чтобы преувеличить раскрытие глаз.

Стол проверки отмечает предполагаемое видео генерального директора, потому что волосы и серьги остаются странно жесткими, а лицо движется, что предполагает анимацию одной фотографии.

Будущее портретной анимации на основе одной фотографии

Аватары в реальном времени для видеозвонков, обслуживания клиентов и обучения становятся практичными, а априоры распространения улучшают то, как модели заполняют невидимые области, такие как зубы и изображения профиля. Большие повороты головы, постоянные прически и аксессуары, а также долговременная стабильность личности остаются трудными. Поскольку одной фотографии достаточно, согласие и раскрытие информации являются главными проблемами. Инструменты обнаружения и маркировка происхождения разрабатываются параллельно с генераторами, но ни один метод обнаружения сам по себе не является достаточно надежным.

Применение на практике

Почему это важно

  • Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
  • Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
  • Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.

Следите за

  • Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
  • Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
  • Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.

Следующие шаги

  1. Определите критерии приемки точности, стоимости отзыва и ошибок.
  2. Тестируйте с данными, которые соответствуют реальным производственным условиям.
  3. Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
  4. Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Portrait Animation from a Single Photo quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое портретная анимация из одной фотографии?

Портретная анимация из одной фотографии делает движение неподвижного лица, включая поворот, моргание, изменение выражения лица или разговор. Он работает путем переноса движения из видео- или аудиодорожки вождения на исходное изображение. Он используется для создания аватаров с говорящими головами, анимированных семейных фотографий и видеороликов ведущих, и это вызывает опасения по поводу согласия, поскольку одной публичной фотографии достаточно.

Как модель движения первого порядка получает свои ключевые точки?

FOMM обнаруживает ключевые точки без присмотра. Вот почему он может работать с лицами и другими категориями объектов.

Какова цель карты окклюзии?

Карта окклюзии сообщает генератору, какие области не могут возникнуть из-за деформации источника и должны быть заполнены.

В чем преимущество относительной передачи движения?

Применение того, как изменяются ключевые точки вождения, а не того, где они находятся, предотвращает замену геометрии лица водителя исходной.

Что SadTalker предсказывает по аудио?

ExpNet и PoseVAE компании SadTalker создают коэффициенты 3DMM, которые затем средство рендеринга лиц преобразует в кадры.

Что делает модуль сшивания LivePortrait?

Модуль сшивания выравнивает анимированную обрезку с остальной частью исходного изображения при вставке его обратно.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →