ДалееСледующее руководство
Как диагностировать проблемы домашнего ремонта по фотографиям с помощью ИИ
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Портретная анимация из одной фотографии делает движение неподвижного лица, включая поворот, моргание, изменение выражения лица или разговор.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он работает путем переноса движения из видео- или аудиодорожки вождения на исходное изображение. Он используется для создания аватаров с говорящими головами, анимированных семейных фотографий и видеороликов ведущих, и это вызывает опасения по поводу согласия, поскольку одной публичной фотографии достаточно.
Каждая система состоит из четырех частей: исходное изображение, обеспечивающее внешний вид, управляющий сигнал (видео другого лица или аудио), представление движения и генератор, который искажает источник и заполняет пробелы. Модель движения первого порядка (Сиарохин и др., NeurIPS 2019) задала шаблон. Он изучает ключевые точки без каких-либо меток вместе с локальными аффинными преобразованиями вокруг каждой из них. На основе исходных и управляющих ключевых точек он прогнозирует плотное поле движения, которое представляет собой попиксельный поток, а также карту окклюзии, отмечающую области, которые исходное изображение не может предоставить. Он искажает карты объектов источника вместе с потоком и закрашивает декодером перекрытые области. Он также использует относительную передачу движения: он применяет то, как ключевые точки движения перемещаются относительно первого кадра видео движения, а не их абсолютные положения, поэтому источник сохраняет свою собственную форму лица. SadTalker (CVPR 2023) анимирует из аудио. Он прогнозирует коэффициенты 3D-морфируемой модели на основе речи, используя ExpNet для выражения и PoseVAE для положения головы, а затем визуализирует их с помощью генератора лиц на основе ключевых точек. LivePortrait, выпущенный Kuaishou в 2024 году, использует неявные ключевые точки, обученные на большом наборе данных. Он добавляет модуль сшивания, который вставляет анимированное лицо обратно в полное изображение без смещения плеч, а также модули перенацеливания для открытия глаз и губ. Это достаточно быстро для использования на графическом процессоре практически в реальном времени. Методы, основанные на диффузии, такие как EMO от Alibaba и открытый проект Hallo, дают более выразительные результаты при гораздо более высоких вычислительных затратах. На одной фотографии нет информации о боках головы, внутренней части рта или зубах, поэтому эти области вымышлены. Большие повороты головы вытягивают лицо, фон и волосы могут деформироваться вместе с ним, а личность может смещаться. Распространенным заблуждением является то, что эти инструменты создают полную 3D-модель человека. Даже методы, основанные на 3DMM, используют лишь приблизительную модель лица.
Генеалогическое приложение анимирует отсканированную фотографию прабабушки и дедушки легкой улыбкой и морганием. Несколько секунд это выглядит убедительно, но теряет смысл, если голова сильно поворачивается.
Команда электронного обучения использует конвейер в стиле SadTalker, чтобы превратить снимок докладчика и аудиозапись во вступление к курсу с говорящей головой.
Автор записывает себя на веб-камеру, чтобы создать иллюстрированный портрет персонажа с помощью LivePortrait, используя элементы управления ретаргетингом, чтобы преувеличить раскрытие глаз.
Стол проверки отмечает предполагаемое видео генерального директора, потому что волосы и серьги остаются странно жесткими, а лицо движется, что предполагает анимацию одной фотографии.
Аватары в реальном времени для видеозвонков, обслуживания клиентов и обучения становятся практичными, а априоры распространения улучшают то, как модели заполняют невидимые области, такие как зубы и изображения профиля. Большие повороты головы, постоянные прически и аксессуары, а также долговременная стабильность личности остаются трудными. Поскольку одной фотографии достаточно, согласие и раскрытие информации являются главными проблемами. Инструменты обнаружения и маркировка происхождения разрабатываются параллельно с генераторами, но ни один метод обнаружения сам по себе не является достаточно надежным.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Портретная анимация из одной фотографии делает движение неподвижного лица, включая поворот, моргание, изменение выражения лица или разговор. Он работает путем переноса движения из видео- или аудиодорожки вождения на исходное изображение. Он используется для создания аватаров с говорящими головами, анимированных семейных фотографий и видеороликов ведущих, и это вызывает опасения по поводу согласия, поскольку одной публичной фотографии достаточно.
FOMM обнаруживает ключевые точки без присмотра. Вот почему он может работать с лицами и другими категориями объектов.
Карта окклюзии сообщает генератору, какие области не могут возникнуть из-за деформации источника и должны быть заполнены.
Применение того, как изменяются ключевые точки вождения, а не того, где они находятся, предотвращает замену геометрии лица водителя исходной.
ExpNet и PoseVAE компании SadTalker создают коэффициенты 3DMM, которые затем средство рендеринга лиц преобразует в кадры.
Модуль сшивания выравнивает анимированную обрезку с остальной частью исходного изображения при вставке его обратно.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Как диагностировать проблемы домашнего ремонта по фотографиям с помощью ИИ
Визуальный ИИ