Visuele AI-GIDS

Portretanimatie van één enkele foto

Bij portretanimatie van één enkele foto beweegt een stilstaand gezicht, inclusief draaien, knipperen, gezichtsuitdrukking of praten.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van portretanimatie vanuit één enkele foto
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het werkt door beweging van een rijdende video- of audiotrack over te brengen naar het bronbeeld. Het maakt pratende avatars, geanimeerde familiefoto's en video's van presentatoren mogelijk, en het roept vragen op over toestemming omdat één openbare foto voldoende input is.

Diepe duik

Elk systeem bestaat uit vier delen: een bronbeeld dat voor het uiterlijk zorgt, een aandrijfsignaal (een video van een ander gezicht of audio), een bewegingsweergave en een generator die de bron vervormt en gaten opvult. Het First Order Motion Model (Siarohin et al., NeurIPS 2019) zette de sjabloon vast. Het leert sleutelpunten zonder labels, samen met lokale affiene transformaties eromheen. Op basis van de bron- en aandrijvende sleutelpunten voorspelt het een dicht bewegingsveld, dat een stroom per pixel is, plus een occlusiekaart die gebieden markeert die het bronbeeld niet kan leveren. Het vervormt de functiekaarten van de bron met de stroom en heeft een decoderverf in de afgesloten gebieden. Er wordt ook gebruik gemaakt van relatieve bewegingsoverdracht: het past toe hoe de aansturende sleutelpunten bewegen ten opzichte van het eerste frame van de aansturende video, niet hun absolute posities, zodat de bron zijn eigen gezichtsvorm behoudt. SadTalker (CVPR 2023) animeert vanuit audio. Het voorspelt 3D Morphable Model-coëfficiënten op basis van spraak, gebruikt ExpNet voor expressie en PoseVAE voor hoofdhouding, en geeft deze vervolgens weer via een op keypoints gebaseerde gezichtsgenerator. LivePortrait, uitgebracht door Kuaishou in 2024, maakt gebruik van impliciete sleutelpunten die zijn getraind op een grote dataset. Het voegt een stikmodule toe die het geanimeerde gezicht terug in het volledige beeld plakt zonder verkeerd uitgelijnde schouders, en retargetingmodules voor openheid van ogen en lippen. Het is snel genoeg voor bijna realtime gebruik op een GPU. Op diffusie gebaseerde methoden zoals Alibaba's EMO en het open Hallo-project geven expressievere resultaten tegen veel hogere rekenkosten. Eén foto bevat geen informatie over de zijkanten van het hoofd, de binnenkant van de mond of de tanden, dus deze gebieden zijn uitgevonden. Grote hoofdwendingen strekken het gezicht uit, achtergronden en haar kunnen meevervormen, en identiteit kan afdrijven. Een veel voorkomende misvatting is dat deze tools een volledig 3D-model van de persoon opbouwen. Zelfs op 3DMM gebaseerde methoden gebruiken slechts een benaderend gezichtsmodel.

Implementatie in de echte wereld

A genealogy app animates a scanned great-grandparent's photo with a subtle smile and blink. It looks convincing for a few seconds but breaks down if the head turns far.

An e-learning team uses a SadTalker-style pipeline to turn a presenter's headshot and narration audio into a talking-head course introduction.

A creator records themselves on a webcam to drive an illustrated character portrait with LivePortrait, using its retargeting controls to exaggerate eye opening.

A verification desk flags a supposed video of a CEO because the hair and earrings stay oddly rigid while the face moves, which suggests single-photo animation.

De toekomst van portretanimatie vanuit één enkele foto

Real-time avatars for video calls, customer service and education are becoming practical, and diffusion priors are improving how models fill unseen regions such as teeth and profile views. Large head rotations, consistent hair and accessories, and long-duration identity stability remain difficult. Because a single photo is enough input, consent and disclosure are central concerns. Detection tools and provenance labeling are developing alongside the generators, but no detection method is reliable enough on its own.

Het in de praktijk brengen

Waarom het ertoe doet

  • Snelheid en schaal. Visuele AI kan inspectie-, detectie- en taggingtaken op schaal automatiseren.
  • Bouwkeuzes. Creatieve teams kunnen concepten sneller prototypen met minder handmatige revisies.
  • Team en workflow. Bij bewerkingen kan gebruik worden gemaakt van beeld- en videosignalen die voorheen moeilijk te verwerken waren.

Pas op voor

  • Beeldrechten en toestemming kunnen juridische risico's worden als de herkomst onduidelijk is.
  • De prestaties van modellen kunnen variëren afhankelijk van de belichting, demografische gegevens en omgevingen.
  • Valse positieve resultaten kunnen onopgemerkt blijven, tenzij de vertrouwensdrempels worden gecontroleerd.

Volgende stappen

  1. Definieer acceptatiecriteria voor precisie-, terugroep- en foutkosten.
  2. Test met gegevens die overeenkomen met echte productieomstandigheden.
  3. Voeg menselijke beoordeling toe voor voorspellingen met weinig vertrouwen of hoge impact.
  4. Volg modelafwijkingen en valideer opnieuw na wijzigingen in de camera of dataset.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Portrait Animation from a Single Photo quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

What is Portrait Animation from a Single Photo?

Bij portretanimatie van één enkele foto beweegt een stilstaand gezicht, inclusief draaien, knipperen, gezichtsuitdrukking of praten. Het werkt door beweging van een rijdende video- of audiotrack over te brengen naar het bronbeeld. Het maakt pratende avatars, geanimeerde familiefoto's en video's van presentatoren mogelijk, en het roept vragen op over toestemming omdat één openbare foto voldoende input is.

How does the First Order Motion Model obtain its keypoints?

FOMM discovers keypoints in an unsupervised way. That is why it can work on faces and on other object categories.

What is the purpose of the occlusion map?

The occlusion map tells the generator which areas cannot come from warping the source and must be filled in.

What is the benefit of relative motion transfer?

Applying how the driving keypoints change, rather than where they are, stops the driver's facial geometry from replacing the source's.

What does SadTalker predict from the audio?

SadTalker's ExpNet and PoseVAE produce 3DMM coefficients, which a face renderer then turns into frames.

What does LivePortrait's stitching module do?

The stitching module keeps the animated crop aligned with the rest of the original image when pasting it back.