LegközelebbKövetkező útmutató
How to Diagnose Home Repair Problems From Photos With AI
Vizuális AI
Vizuális MI ÚTMUTATÓ
Az egyetlen fényképről készült portréanimáció megmozgatja az álló arcot, beleértve az elfordulást, a pislogást, az arckifejezés megváltoztatását vagy a beszédet.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Úgy működik, hogy a mozgást egy vezetési videóról vagy hangsávról a forrásképre viszi át. Beszédfejű avatarokat, animált családi fotókat és műsorvezetői videókat hoz létre, és beleegyezési aggályokat vet fel, mivel egyetlen nyilvános fénykép is elegendő.
Minden rendszer négy részből áll: egy forráskép, amely biztosítja a megjelenést, egy vezetési jel (egy másik arc videója vagy hang), egy mozgásábrázolás, valamint egy generátor, amely meghajtja a forrást és kitölti a hiányosságokat. Az elsőrendű mozgásmodell (Siarohin et al., NeurIPS 2019) beállította a sablont. A kulcspontokat címkék nélkül tanulja meg, az egyes körüli helyi affin transzformációkkal együtt. A forrásból és a meghajtó kulcspontokból sűrű mozgásmezőt jelez előre, ami pixelenkénti áramlás, valamint egy elzáródási térkép, amely megjelöli azokat a régiókat, amelyeket a forráskép nem tud biztosítani. Elvetemíti a forrás jellemző térképeit az áramlással, és dekóderfestékkel rendelkezik az elzárt területeken. Relatív mozgásátvitelt is használ: azt alkalmazza, ahogy a vezetési kulcspontok a vezetési videó első képkockájához viszonyítva mozognak, nem pedig az abszolút pozíciójukhoz, így a forrás megtartja saját arcformáját. A SadTalker (CVPR 2023) hangból animál. Megjósolja a 3D Morphable Model együtthatóit a beszédből, az ExpNet-et használja a kifejezéshez és a PoseVAE-t a fejtartáshoz, majd egy kulcspont-alapú arcgenerátoron keresztül jeleníti meg őket. A Kuaishou által 2024-ben kiadott LivePortrait implicit kulcspontokat használ, amelyeket nagy adathalmazra tanítottak. Hozzáadja az összefűző modult, amely az animált arcot visszailleszti a teljes képbe, anélkül, hogy a vállak elcsúsznának, valamint újracélzó modulok a szemek és az ajak kinyitásához. Elég gyors ahhoz, hogy GPU-n csaknem valós idejű használatra szolgáljon. A diffúzió alapú módszerek, mint például az Alibaba EMO és a nyílt Hallo projekt kifejezőbb eredményeket adnak sokkal magasabb számítási költség mellett. Az egyik fotón nincs információ a fej oldaláról, a száj belsejéről vagy a fogakról, ezért ezeket a régiókat találták ki. A fej nagy fordulatai megfeszítik az arcot, a háttér és a haj vele együtt meggörbülhet, és az identitás elsodródhat. Általános tévhit, hogy ezek az eszközök teljes 3D-s modellt készítenek a személyről. Még a 3DMM-alapú módszerek is csak hozzávetőleges arcmodellt használnak.
Egy genealógiai alkalmazás finom mosollyal és pislogással animálja a beolvasott dédszülő fényképét. Néhány másodpercig meggyőzőnek tűnik, de tönkremegy, ha a fej messzire fordul.
Egy e-learning csapat egy SadTalker-stílusú csővezetéket használ arra, hogy az előadó fejlövését és narrációs hangját beszélőfejű tanfolyam bevezetésévé alakítsa.
Az alkotók rögzítik magukat egy webkamerán, hogy illusztrált karakterportrét készítsenek a LivePortrait funkcióval, és az újracélzási vezérlőkkel eltúlozzák a szem kinyitását.
Az ellenőrző pult megjelöl egy állítólagos videót egy vezérigazgatóról, mert a haj és a fülbevaló furcsán merev marad, miközben az arc mozog, ami egyfotós animációt sugall.
A videohívásokhoz, az ügyfélszolgálathoz és az oktatáshoz szükséges valós idejű avatarok gyakorlatiassá válnak, a diffúziós prioritások pedig javítják azt, ahogyan a modellek kitöltik a láthatatlan területeket, például a fogakat és a profilnézeteket. A nagy fejforgatások, az egyenletes haj és kiegészítők, valamint a hosszú távú identitás stabilitása továbbra is nehéz. Mivel egyetlen fénykép elegendő, a beleegyezés és a nyilvánosságra hozatal központi szempont. A generátorokkal párhuzamosan fejlődnek az észlelési eszközök és a származási hely jelölése, de önmagában egyetlen kimutatási módszer sem elég megbízható.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az egyetlen fényképről készült portréanimáció megmozgatja az álló arcot, beleértve az elfordulást, a pislogást, az arckifejezés megváltoztatását vagy a beszédet. Úgy működik, hogy a mozgást egy vezetési videóról vagy hangsávról a forrásképre viszi át. Beszédfejű avatarokat, animált családi fotókat és műsorvezetői videókat hoz létre, és beleegyezési aggályokat vet fel, mivel egyetlen nyilvános fénykép is elegendő.
A FOMM felügyelet nélkül fedezi fel a kulcspontokat. Ezért tud működni az arcokon és más tárgykategóriákon.
Az okklúziós térkép megmondja a generátornak, hogy mely területek nem származhatnak a forrás elvetemítéséből, és ezeket ki kell tölteni.
Ha a vezetési kulcspontok változását alkalmazza, nem pedig azt, hogy hol vannak, megakadályozza, hogy a vezető arcának geometriája lecserélje a forrás geometriáját.
A SadTalker ExpNet és PoseVAE 3DMM együtthatókat állít elő, amelyeket az arcrenderer ezután keretekké alakít.
Az összefűző modul visszaillesztésekor az animált kivágást az eredeti kép többi részéhez igazítva tartja.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
How to Diagnose Home Repair Problems From Photos With AI
Vizuális AI