Il prossimoProssima guida
Come diagnosticare i problemi di riparazione della casa dalle foto con l'intelligenza artificiale
IA visiva
GUIDA AI visiva
L'animazione del ritratto di una singola foto fa muovere il volto immobile, ad esempio voltarsi, sbattere le palpebre, cambiare espressione o parlare.
Ascolta questa guidaNarrato dall'IA · ~3 min
It works by transferring motion from a driving video or audio track onto the source image. It powers talking-head avatars, animated family photos and presenter videos, and it raises consent concerns because one public photo is enough input.
Every system has four parts: a source image that supplies appearance, a driving signal (a video of another face, or audio), a motion representation, and a generator that warps the source and fills in gaps. The First Order Motion Model (Siarohin et al., NeurIPS 2019) set the template. It learns keypoints without any labels, together with local affine transformations around each one. From the source and driving keypoints it predicts a dense motion field, which is a per-pixel flow, plus an occlusion map marking regions the source image cannot supply. It warps the source's feature maps with the flow and has a decoder paint in the occluded areas. It also uses relative motion transfer: it applies how the driving keypoints move relative to the driving video's first frame, not their absolute positions, so the source keeps its own face shape. SadTalker (CVPR 2023) animates from audio. It predicts 3D Morphable Model coefficients from speech, using ExpNet for expression and PoseVAE for head pose, then renders them through a keypoint-based face generator. LivePortrait, released by Kuaishou in 2024, uses implicit keypoints trained on a large dataset. It adds a stitching module that pastes the animated face back into the full image without misaligned shoulders, and retargeting modules for eye and lip openness. It is fast enough for near real-time use on a GPU. Diffusion-based methods such as Alibaba's EMO and the open Hallo project give more expressive results at much higher compute cost. One photo has no information about the sides of the head, the inside of the mouth or the teeth, so these regions are invented. Large head turns stretch the face, backgrounds and hair may warp along with it, and identity can drift. A common misconception is that these tools build a full 3D model of the person. Even 3DMM-based methods use only an approximate face model.
Un'app di genealogia anima la foto scansionata di un bisnonno con un sorriso sottile e un battito di ciglia. Sembra convincente per qualche secondo ma si rompe se la testa si gira molto.
Un team di e-learning utilizza una pipeline in stile SadTalker per trasformare la foto in testa e l'audio della narrazione di un relatore in un'introduzione al corso parlante.
Un creatore si registra su una webcam per realizzare un ritratto illustrato del personaggio con LivePortrait, utilizzando i suoi controlli di retargeting per esagerare l'apertura degli occhi.
Un banco di verifica segnala un presunto video di un amministratore delegato perché i capelli e gli orecchini rimangono stranamente rigidi mentre il viso si muove, il che suggerisce l'animazione di una singola foto.
Gli avatar in tempo reale per le videochiamate, il servizio clienti e l'istruzione stanno diventando pratici, e i precedenti di diffusione stanno migliorando il modo in cui i modelli riempiono regioni invisibili come i denti e le visualizzazioni del profilo. Le grandi rotazioni della testa, i capelli e gli accessori coerenti e la stabilità dell'identità di lunga durata rimangono difficili. Poiché una singola foto è un input sufficiente, il consenso e la divulgazione sono preoccupazioni centrali. Insieme ai generatori si stanno sviluppando strumenti di rilevamento e di etichettatura della provenienza, ma nessun metodo di rilevamento è sufficientemente affidabile da solo.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Portrait animation from a single photo makes a still face move, including turning, blinking, changing expression or talking. It works by transferring motion from a driving video or audio track onto the source image. It powers talking-head avatars, animated family photos and presenter videos, and it raises consent concerns because one public photo is enough input.
FOMM scopre i punti chiave in modo non supervisionato. Ecco perché può funzionare sui volti e su altre categorie di oggetti.
La mappa di occlusione indica al generatore quali aree non possono derivare dalla deformazione della sorgente e devono essere riempite.
Applicando il modo in cui cambiano i punti chiave di guida, anziché la loro posizione, si impedisce alla geometria facciale del conducente di sostituire quella della fonte.
ExpNet e PoseVAE di SadTalker producono coefficienti 3DMM, che un renderer di volti trasforma poi in fotogrammi.
Il modulo di cucitura mantiene il ritaglio animato allineato con il resto dell'immagine originale quando la incolla di nuovo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Come diagnosticare i problemi di riparazione della casa dalle foto con l'intelligenza artificiale
IA visiva