Vizuális MI ÚTMUTATÓ

Portré animáció egyetlen fényképről

Az egyetlen fényképről készült portréanimáció megmozgatja az álló arcot, beleértve az elfordulást, a pislogást, az arckifejezés megváltoztatását vagy a beszédet.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A portréanimáció jövője egyetlen fényképről
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Úgy működik, hogy a mozgást egy vezetési videóról vagy hangsávról a forrásképre viszi át. Beszédfejű avatarokat, animált családi fotókat és műsorvezetői videókat hoz létre, és beleegyezési aggályokat vet fel, mivel egyetlen nyilvános fénykép is elegendő.

Mély merülés

Minden rendszer négy részből áll: egy forráskép, amely biztosítja a megjelenést, egy vezetési jel (egy másik arc videója vagy hang), egy mozgásábrázolás, valamint egy generátor, amely meghajtja a forrást és kitölti a hiányosságokat. Az elsőrendű mozgásmodell (Siarohin et al., NeurIPS 2019) beállította a sablont. A kulcspontokat címkék nélkül tanulja meg, az egyes körüli helyi affin transzformációkkal együtt. A forrásból és a meghajtó kulcspontokból sűrű mozgásmezőt jelez előre, ami pixelenkénti áramlás, valamint egy elzáródási térkép, amely megjelöli azokat a régiókat, amelyeket a forráskép nem tud biztosítani. Elvetemíti a forrás jellemző térképeit az áramlással, és dekóderfestékkel rendelkezik az elzárt területeken. Relatív mozgásátvitelt is használ: azt alkalmazza, ahogy a vezetési kulcspontok a vezetési videó első képkockájához viszonyítva mozognak, nem pedig az abszolút pozíciójukhoz, így a forrás megtartja saját arcformáját. A SadTalker (CVPR 2023) hangból animál. Megjósolja a 3D Morphable Model együtthatóit a beszédből, az ExpNet-et használja a kifejezéshez és a PoseVAE-t a fejtartáshoz, majd egy kulcspont-alapú arcgenerátoron keresztül jeleníti meg őket. A Kuaishou által 2024-ben kiadott LivePortrait implicit kulcspontokat használ, amelyeket nagy adathalmazra tanítottak. Hozzáadja az összefűző modult, amely az animált arcot visszailleszti a teljes képbe, anélkül, hogy a vállak elcsúsznának, valamint újracélzó modulok a szemek és az ajak kinyitásához. Elég gyors ahhoz, hogy GPU-n csaknem valós idejű használatra szolgáljon. A diffúzió alapú módszerek, mint például az Alibaba EMO és a nyílt Hallo projekt kifejezőbb eredményeket adnak sokkal magasabb számítási költség mellett. Az egyik fotón nincs információ a fej oldaláról, a száj belsejéről vagy a fogakról, ezért ezeket a régiókat találták ki. A fej nagy fordulatai megfeszítik az arcot, a háttér és a haj vele együtt meggörbülhet, és az identitás elsodródhat. Általános tévhit, hogy ezek az eszközök teljes 3D-s modellt készítenek a személyről. Még a 3DMM-alapú módszerek is csak hozzávetőleges arcmodellt használnak.

Valós megvalósítás

Egy genealógiai alkalmazás finom mosollyal és pislogással animálja a beolvasott dédszülő fényképét. Néhány másodpercig meggyőzőnek tűnik, de tönkremegy, ha a fej messzire fordul.

Egy e-learning csapat egy SadTalker-stílusú csővezetéket használ arra, hogy az előadó fejlövését és narrációs hangját beszélőfejű tanfolyam bevezetésévé alakítsa.

Az alkotók rögzítik magukat egy webkamerán, hogy illusztrált karakterportrét készítsenek a LivePortrait funkcióval, és az újracélzási vezérlőkkel eltúlozzák a szem kinyitását.

Az ellenőrző pult megjelöl egy állítólagos videót egy vezérigazgatóról, mert a haj és a fülbevaló furcsán merev marad, miközben az arc mozog, ami egyfotós animációt sugall.

A portréanimáció jövője egyetlen fényképről

A videohívásokhoz, az ügyfélszolgálathoz és az oktatáshoz szükséges valós idejű avatarok gyakorlatiassá válnak, a diffúziós prioritások pedig javítják azt, ahogyan a modellek kitöltik a láthatatlan területeket, például a fogakat és a profilnézeteket. A nagy fejforgatások, az egyenletes haj és kiegészítők, valamint a hosszú távú identitás stabilitása továbbra is nehéz. Mivel egyetlen fénykép elegendő, a beleegyezés és a nyilvánosságra hozatal központi szempont. A generátorokkal párhuzamosan fejlődnek az észlelési eszközök és a származási hely jelölése, de önmagában egyetlen kimutatási módszer sem elég megbízható.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Portrait Animation from a Single Photo quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a portré animáció egyetlen fényképről?

Az egyetlen fényképről készült portréanimáció megmozgatja az álló arcot, beleértve az elfordulást, a pislogást, az arckifejezés megváltoztatását vagy a beszédet. Úgy működik, hogy a mozgást egy vezetési videóról vagy hangsávról a forrásképre viszi át. Beszédfejű avatarokat, animált családi fotókat és műsorvezetői videókat hoz létre, és beleegyezési aggályokat vet fel, mivel egyetlen nyilvános fénykép is elegendő.

Hogyan kapja meg a First Order Motion Model kulcspontjait?

A FOMM felügyelet nélkül fedezi fel a kulcspontokat. Ezért tud működni az arcokon és más tárgykategóriákon.

Mi a célja az okklúziós térképnek?

Az okklúziós térkép megmondja a generátornak, hogy mely területek nem származhatnak a forrás elvetemítéséből, és ezeket ki kell tölteni.

Mi az előnye a relatív mozgásátvitelnek?

Ha a vezetési kulcspontok változását alkalmazza, nem pedig azt, hogy hol vannak, megakadályozza, hogy a vezető arcának geometriája lecserélje a forrás geometriáját.

Mit jósol SadTalker a hangból?

A SadTalker ExpNet és PoseVAE 3DMM együtthatókat állít elő, amelyeket az arcrenderer ezután keretekké alakít.

Mit csinál a LivePortrait összefűző modulja?

Az összefűző modul visszaillesztésekor az animált kivágást az eredeti kép többi részéhez igazítva tartja.