GUIDA AI visiva

Animazione verticale da una singola foto

L'animazione del ritratto di una singola foto fa muovere il volto immobile, ad esempio voltarsi, sbattere le palpebre, cambiare espressione o parlare.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. The Future of Portrait Animation from a Single Photo
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

It works by transferring motion from a driving video or audio track onto the source image. It powers talking-head avatars, animated family photos and presenter videos, and it raises consent concerns because one public photo is enough input.

Immersione profonda

Every system has four parts: a source image that supplies appearance, a driving signal (a video of another face, or audio), a motion representation, and a generator that warps the source and fills in gaps. The First Order Motion Model (Siarohin et al., NeurIPS 2019) set the template. It learns keypoints without any labels, together with local affine transformations around each one. From the source and driving keypoints it predicts a dense motion field, which is a per-pixel flow, plus an occlusion map marking regions the source image cannot supply. It warps the source's feature maps with the flow and has a decoder paint in the occluded areas. It also uses relative motion transfer: it applies how the driving keypoints move relative to the driving video's first frame, not their absolute positions, so the source keeps its own face shape. SadTalker (CVPR 2023) animates from audio. It predicts 3D Morphable Model coefficients from speech, using ExpNet for expression and PoseVAE for head pose, then renders them through a keypoint-based face generator. LivePortrait, released by Kuaishou in 2024, uses implicit keypoints trained on a large dataset. It adds a stitching module that pastes the animated face back into the full image without misaligned shoulders, and retargeting modules for eye and lip openness. It is fast enough for near real-time use on a GPU. Diffusion-based methods such as Alibaba's EMO and the open Hallo project give more expressive results at much higher compute cost. One photo has no information about the sides of the head, the inside of the mouth or the teeth, so these regions are invented. Large head turns stretch the face, backgrounds and hair may warp along with it, and identity can drift. A common misconception is that these tools build a full 3D model of the person. Even 3DMM-based methods use only an approximate face model.

Implementazione nel mondo reale

Un'app di genealogia anima la foto scansionata di un bisnonno con un sorriso sottile e un battito di ciglia. Sembra convincente per qualche secondo ma si rompe se la testa si gira molto.

Un team di e-learning utilizza una pipeline in stile SadTalker per trasformare la foto in testa e l'audio della narrazione di un relatore in un'introduzione al corso parlante.

Un creatore si registra su una webcam per realizzare un ritratto illustrato del personaggio con LivePortrait, utilizzando i suoi controlli di retargeting per esagerare l'apertura degli occhi.

Un banco di verifica segnala un presunto video di un amministratore delegato perché i capelli e gli orecchini rimangono stranamente rigidi mentre il viso si muove, il che suggerisce l'animazione di una singola foto.

The Future of Portrait Animation from a Single Photo

Gli avatar in tempo reale per le videochiamate, il servizio clienti e l'istruzione stanno diventando pratici, e i precedenti di diffusione stanno migliorando il modo in cui i modelli riempiono regioni invisibili come i denti e le visualizzazioni del profilo. Le grandi rotazioni della testa, i capelli e gli accessori coerenti e la stabilità dell'identità di lunga durata rimangono difficili. Poiché una singola foto è un input sufficiente, il consenso e la divulgazione sono preoccupazioni centrali. Insieme ai generatori si stanno sviluppando strumenti di rilevamento e di etichettatura della provenienza, ma nessun metodo di rilevamento è sufficientemente affidabile da solo.

Metterlo in pratica

Perché è importante

  • Velocità e scala. L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
  • Scelte di build. I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
  • Team e flusso di lavoro. Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.

Attenzione

  • I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
  • Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
  • I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.

Prossimi passi

  1. Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
  2. Testare con dati che corrispondono alle reali condizioni di produzione.
  3. Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
  4. Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Portrait Animation from a Single Photo quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è l'animazione verticale da una singola foto?

Portrait animation from a single photo makes a still face move, including turning, blinking, changing expression or talking. It works by transferring motion from a driving video or audio track onto the source image. It powers talking-head avatars, animated family photos and presenter videos, and it raises consent concerns because one public photo is enough input.

Come ottiene i suoi punti chiave il Modello del Movimento del Primo Ordine?

FOMM scopre i punti chiave in modo non supervisionato. Ecco perché può funzionare sui volti e su altre categorie di oggetti.

Qual è lo scopo della mappa di occlusione?

La mappa di occlusione indica al generatore quali aree non possono derivare dalla deformazione della sorgente e devono essere riempite.

Qual è il vantaggio del trasferimento del moto relativo?

Applicando il modo in cui cambiano i punti chiave di guida, anziché la loro posizione, si impedisce alla geometria facciale del conducente di sostituire quella della fonte.

Cosa prevede SadTalker dall'audio?

ExpNet e PoseVAE di SadTalker producono coefficienti 3DMM, che un renderer di volti trasforma poi in fotogrammi.

Cosa fa il modulo di cucitura di LivePortrait?

Il modulo di cucitura mantiene il ritaglio animato allineato con il resto dell'immagine originale quando la incolla di nuovo.