Animación de retrato a partir de una sola foto

Cada sistema tiene cuatro partes: una imagen fuente que proporciona apariencia, una señal conductora (un video de otra cara o audio), una representación de movimiento y un generador que deforma la fuente y llena los vacíos. El modelo de movimiento de primer orden (Siarohin et al., NeurIPS 2019) estableció la plantilla. Aprende puntos clave sin etiquetas, junto con transformaciones afines locales alrededor de cada uno. A partir de los puntos clave fuente y de conducción, predice un campo de movimiento denso, que es un flujo por píxel, además de un mapa de oclusión que marca las regiones que la imagen fuente no puede proporcionar. Deforma los mapas de características de la fuente con el flujo y tiene una pintura decodificadora en las áreas ocluidas. También utiliza la transferencia de movimiento relativo: aplica cómo se mueven los puntos clave de conducción en relación con el primer fotograma del vídeo de conducción, no sus posiciones absolutas, de modo que la fuente mantenga su propia forma de cara. SadTalker (CVPR 2023) anima a partir de audio. Predice los coeficientes del modelo Morphable 3D a partir del habla, utilizando ExpNet para la expresión y PoseVAE para la pose de la cabeza, luego los representa a través de un generador de rostros basado en puntos clave. LivePortrait, lanzado por Kuaishou en 2024, utiliza puntos clave implícitos entrenados en un gran conjunto de datos. Agrega un módulo de unión que pega la cara animada nuevamente en la imagen completa sin hombros desalineados y módulos de reorientación para la apertura de ojos y labios. Es lo suficientemente rápido para uso casi en tiempo real en una GPU. Los métodos basados ​​en difusión, como el EMO de Alibaba y el proyecto abierto Hallo, dan resultados más expresivos con un coste computacional mucho mayor. Una foto no tiene información sobre los lados de la cabeza, el interior de la boca o los dientes, por lo que estas regiones están inventadas. Los grandes giros de cabeza estiran el rostro, los fondos y el cabello pueden deformarse con él, y la identidad puede variar. Un error común es creer que estas herramientas construyen un modelo 3D completo de la persona. Incluso los métodos basados ​​en 3DMM utilizan sólo un modelo de rostro aproximado.