LegközelebbKövetkező útmutató
Láthatatlan vízjelek mesterséges intelligencia képekhez és hangokhoz
Vizuális AI
Vizuális MI ÚTMUTATÓ
A hangvezérelt mesterséges intelligencia ajkak szinkronizálása szerkeszti az arcról készült videót, így a száj mozgása illeszkedik az új beszédsávhoz, és magából a hangból jósolja meg a száj alakját.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez fontos a tanfolyamok és filmek más nyelvekre szinkronizálásához, valamint az újra rögzített párbeszédek javításához. Ugyanez a technika azonban arra is alkalmas, hogy valódi emberek úgy tűnjenek fel, mintha olyan szavakat mondanának, amelyeket soha nem mondtak el.
A IIIT Hyderabad (ACM Multimedia) kutatói által 2020-ban közzétett Wav2Lip a legismertebb nyitott ajak szinkronizálási modell és hasznos sablon a területen. Minden egyes célkockához a generátor három bemenetet kap: az arcot, amelynek alsó fele ki van takarva, egy referenciakeretet ugyanannak a személynek a megjelenéséről, és egy rövid mel-spektrogram ablakot az adott pillanat körüli hangról. Ezután egy kódoló-dekódoló hálózat megfesti a száj területét, és az eredmény visszakeverődik az eredeti videóba. A kulcsfontosságú hozzájárulás egy előre kiképzett "szakértő" szinkronizálási megkülönböztető volt, amely a SyncNeten alapul. Az edzés alatt lefagyva marad, és megítéli, hogy egy rövid szájkockák megfelelnek-e a hangnak. A korábbi megközelítések a generátorral közösen képezték ki a szinkron diszkriminátort, és ezek a diszkriminátorok rossz szinkronbírálóknak bizonyultak. A Wav2Lip külön vizuális minőségi megkülönböztetőt is használt. Gyengeségei az alacsony felbontású szájnövények, az elmosódott fogak és a látható varratok vagy villogás a maszk határán. A későbbi rendszerek, mint például a VideoReTalking, a MuseTalk és a diffúzió alapú LatentSync élesebb, stabilabb eredményeket kívánnak elérni. A minőséget többféleképpen ítélik meg. Az LSE-D méri a SyncNet audio- és videobeágyazásai közötti távolságot, ahol az alacsonyabb jobb. Az LSE-C a SyncNet bizalmát méri, ahol a magasabb jobb. A képminőség mérőszámai, mint például a FID és az emberi értékelések, a valósághűséget fedik le. Általános tévhit, hogy a jó szinkronizálási pontszám valósághű videót jelent. A túlzott szájmozgás jó eredményeket érhet el, de még mindig rosszul néz ki, ezért az emberi értékelés továbbra is elengedhetetlen. Az egyik kihívás az, hogy sok fonéma ugyanazt a látható szájformát vagy visémát használja, így a hang-száj leképezés sok az egyhez. A visszaélés közvetlenül a technológiából következik: a klónozott hang és az ajakszinkron párosítása meggyőző hamis kijelentéseket eredményezhet. A kutatók kimutatták, hogy a fonémák és visémák közötti eltérések, különösen az „m”, „b” és „p” jelekre nem záródó ajkak, felfedhetik az ilyen hamisítványokat.
Egy online kurzus-szolgáltató spanyolra szinkronizál egy előadást, és ajakszinkronizálást használ, hogy a tanár szája a lefordított hanggal egyezzen, erről pedig a videó leírásában jelez.
Egy videószerkesztő a forgatás után újra rögzített párbeszédet szinkronizálja a színész ajkaihoz, a színész beleegyezésével, ahelyett, hogy újra forgatná a jelenetet.
Egy tényellenőrző megvizsgálja egy politikusról készült, virális klipet, és észreveszi, hogy az ajkak sosem zárnak teljesen a 'b', 'p' és 'm' hangoknál, ami egy ismert jel az ajakszinkronizált hamisításokra.
Egy kutató futtatja a Wav2Lipet egy beszélőfej-klip-együttesen, és LSE-D és LSE-C pontozással hasonlítja össze az eredményeket egy újabb, diffúziós alapú ajakszinkronizáló modellel.
Az ajakszinkronizálás a szinkronizálási és videolokalizációs eszközök standard funkciója válik, és a kutatás a magasabb felbontás, a stabil fogak és nyelv, valamint az egész arckifejezés és fejmozgás szinkronizálása felé halad, nem csak az ajkaké. A felismerés egy fegyverkezési verseny: a forenzikus jelek, mint például a foném- és vizem-eltérések, gyengülnek a generátorok fejlődésével. Egyes joghatóságok már szabályozni kezdték a megtévesztő szintetikus médiumokat, különösen a választások körül. A megjelenített személy beleegyezése, a tiszta tájékoztatás és a származási címkézés valószínűleg továbbra is központi szerepet játszanak a felelős használatban.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A hangvezérelt AI ajakszinkronizálás a kép egy arcát szerkeszti úgy, hogy az ajakmozgása egy új hangpályával egyezzen, a hangból maga predikálja az ajakformákat. Ez fontos a tanfolyamok és filmek más nyelvekre szinkronizálásához, valamint az újra rögzített párbeszédek javításához. Ugyanez a technika azonban arra is alkalmas, hogy valódi emberek úgy tűnjenek fel, mintha olyan szavakat mondanának, amelyeket soha nem mondtak el.
Mivel a valódi száj el van rejtve, a generátornak a hangra kell támaszkodnia az ajakforma meghatározásához.
A generátorral együtt edzett diszkriminátorok gyenge bírák voltak a szinkron szempontjából. Egy befagyasztott szakértő megbízható jelet ad.
Az LSE-D egy távolság, tehát a kisebb értékek azt jelzik, hogy a hang- és ajakbefoglalók közelebb vannak egymáshoz, ami jobb szinkront jelent.
A referenciakép az identitást és a textúrát biztosítja. A hang biztosítja az ajakformát.
A Wav2Lip kis arckivágásokon dolgozott, ezért az ajak és a fogak gyakran tompának tűntek a élesebb környező képhez képest.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Láthatatlan vízjelek mesterséges intelligencia képekhez és hangokhoz
Vizuális AI