Vizuális MI ÚTMUTATÓ

Audiovezérelt AI Lip Sync

A hangvezérelt mesterséges intelligencia ajkak szinkronizálása szerkeszti az arcról készült videót, így a száj mozgása illeszkedik az új beszédsávhoz, és magából a hangból jósolja meg a száj alakját.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A hangvezérelt AI ajakszinkronizálás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez fontos a tanfolyamok és filmek más nyelvekre szinkronizálásához, valamint az újra rögzített párbeszédek javításához. Ugyanez a technika azonban arra is alkalmas, hogy valódi emberek úgy tűnjenek fel, mintha olyan szavakat mondanának, amelyeket soha nem mondtak el.

Mély merülés

A IIIT Hyderabad (ACM Multimedia) kutatói által 2020-ban közzétett Wav2Lip a legismertebb nyitott ajak szinkronizálási modell és hasznos sablon a területen. Minden egyes célkockához a generátor három bemenetet kap: az arcot, amelynek alsó fele ki van takarva, egy referenciakeretet ugyanannak a személynek a megjelenéséről, és egy rövid mel-spektrogram ablakot az adott pillanat körüli hangról. Ezután egy kódoló-dekódoló hálózat megfesti a száj területét, és az eredmény visszakeverődik az eredeti videóba. A kulcsfontosságú hozzájárulás egy előre kiképzett "szakértő" szinkronizálási megkülönböztető volt, amely a SyncNeten alapul. Az edzés alatt lefagyva marad, és megítéli, hogy egy rövid szájkockák megfelelnek-e a hangnak. A korábbi megközelítések a generátorral közösen képezték ki a szinkron diszkriminátort, és ezek a diszkriminátorok rossz szinkronbírálóknak bizonyultak. A Wav2Lip külön vizuális minőségi megkülönböztetőt is használt. Gyengeségei az alacsony felbontású szájnövények, az elmosódott fogak és a látható varratok vagy villogás a maszk határán. A későbbi rendszerek, mint például a VideoReTalking, a MuseTalk és a diffúzió alapú LatentSync élesebb, stabilabb eredményeket kívánnak elérni. A minőséget többféleképpen ítélik meg. Az LSE-D méri a SyncNet audio- és videobeágyazásai közötti távolságot, ahol az alacsonyabb jobb. Az LSE-C a SyncNet bizalmát méri, ahol a magasabb jobb. A képminőség mérőszámai, mint például a FID és az emberi értékelések, a valósághűséget fedik le. Általános tévhit, hogy a jó szinkronizálási pontszám valósághű videót jelent. A túlzott szájmozgás jó eredményeket érhet el, de még mindig rosszul néz ki, ezért az emberi értékelés továbbra is elengedhetetlen. Az egyik kihívás az, hogy sok fonéma ugyanazt a látható szájformát vagy visémát használja, így a hang-száj leképezés sok az egyhez. A visszaélés közvetlenül a technológiából következik: a klónozott hang és az ajakszinkron párosítása meggyőző hamis kijelentéseket eredményezhet. A kutatók kimutatták, hogy a fonémák és visémák közötti eltérések, különösen az „m”, „b” és „p” jelekre nem záródó ajkak, felfedhetik az ilyen hamisítványokat.

Valós megvalósítás

Egy online kurzus-szolgáltató spanyolra szinkronizál egy előadást, és ajakszinkronizálást használ, hogy a tanár szája a lefordított hanggal egyezzen, erről pedig a videó leírásában jelez.

Egy videószerkesztő a forgatás után újra rögzített párbeszédet szinkronizálja a színész ajkaihoz, a színész beleegyezésével, ahelyett, hogy újra forgatná a jelenetet.

Egy tényellenőrző megvizsgálja egy politikusról készült, virális klipet, és észreveszi, hogy az ajkak sosem zárnak teljesen a 'b', 'p' és 'm' hangoknál, ami egy ismert jel az ajakszinkronizált hamisításokra.

Egy kutató futtatja a Wav2Lipet egy beszélőfej-klip-együttesen, és LSE-D és LSE-C pontozással hasonlítja össze az eredményeket egy újabb, diffúziós alapú ajakszinkronizáló modellel.

A hangvezérelt AI ajakszinkronizálás jövője

Az ajakszinkronizálás a szinkronizálási és videolokalizációs eszközök standard funkciója válik, és a kutatás a magasabb felbontás, a stabil fogak és nyelv, valamint az egész arckifejezés és fejmozgás szinkronizálása felé halad, nem csak az ajkaké. A felismerés egy fegyverkezési verseny: a forenzikus jelek, mint például a foném- és vizem-eltérések, gyengülnek a generátorok fejlődésével. Egyes joghatóságok már szabályozni kezdték a megtévesztő szintetikus médiumokat, különösen a választások körül. A megjelenített személy beleegyezése, a tiszta tájékoztatás és a származási címkézés valószínűleg továbbra is központi szerepet játszanak a felelős használatban.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Vedd fel a hangvezérelt AI ajakszinkronizálás kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi a hangvezérelt AI ajakszinkronizálás?

A hangvezérelt AI ajakszinkronizálás a kép egy arcát szerkeszti úgy, hogy az ajakmozgása egy új hangpályával egyezzen, a hangból maga predikálja az ajakformákat. Ez fontos a tanfolyamok és filmek más nyelvekre szinkronizálásához, valamint az újra rögzített párbeszédek javításához. Ugyanez a technika azonban arra is alkalmas, hogy valódi emberek úgy tűnjenek fel, mintha olyan szavakat mondanának, amelyeket soha nem mondtak el.

Miért takarja el a Wav2Lip a célarc alsó felét?

Mivel a valódi száj el van rejtve, a generátornak a hangra kell támaszkodnia az ajakforma meghatározásához.

Mi tette különlegessé a Wav2Lip szinkron diszkriminátorát a korábbi megközelítésekhez képest?

A generátorral együtt edzett diszkriminátorok gyenge bírák voltak a szinkron szempontjából. Egy befagyasztott szakértő megbízható jelet ad.

Hogyan kell értelmezni az LSE-D-t?

Az LSE-D egy távolság, tehát a kisebb értékek azt jelzik, hogy a hang- és ajakbefoglalók közelebb vannak egymáshoz, ami jobb szinkront jelent.

Mi a referenciakép szerepe a Wav2Lipben?

A referenciakép az identitást és a textúrát biztosítja. A hang biztosítja az ajakformát.

Melyik volt az eredeti Wav2Lip ismert vizuális gyengesége?

A Wav2Lip kis arckivágásokon dolgozott, ezért az ajak és a fogak gyakran tompának tűntek a élesebb környező képhez képest.