Il prossimoProssima guida
Filigrane invisibili per immagini e audio AI
IA visiva
GUIDA AI visiva
La sincronizzazione labiale basata sull'intelligenza artificiale consente di modificare il video di un volto in modo che i movimenti della bocca corrispondano a una nuova traccia vocale, prevedendo la forma della bocca dal suono stesso.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante per il doppiaggio di lezioni e film in altre lingue e per la correzione dei dialoghi riregistrati. La stessa tecnica può anche far sembrare che persone reali dicano parole che non hanno mai detto.
Wav2Lip, pubblicato nel 2020 dai ricercatori dell'IIIT Hyderabad (ACM Multimedia), è il modello di sincronizzazione labiale aperta più noto e un modello utile per questo settore. Per ogni fotogramma target, il generatore riceve tre input: il volto con la metà inferiore mascherata, un fotogramma di riferimento della stessa persona che fornisce l'apparenza e una breve finestra dello spettrogramma mel dell'audio attorno a quel momento. Una rete codificatore-decodificatore dipinge quindi la regione della bocca e il risultato viene reintegrato nel video originale. Il contributo chiave è stato un discriminatore di sincronizzazione "esperto" pre-addestrato basato su SyncNet. Rimane congelato durante l'allenamento e giudica se una breve sequenza di fotogrammi della bocca corrisponde all'audio. Gli approcci precedenti addestravano un discriminatore di sincronizzazione insieme al generatore, e questi discriminatori si rivelarono scarsi giudici della sincronizzazione. Wav2Lip utilizzava anche un discriminatore separato per la qualità visiva. I suoi punti deboli erano ritagli della bocca a bassa risoluzione, denti sfocati e cuciture visibili o sfarfallio al confine della maschera. Sistemi successivi come VideoReTalking, MuseTalk e LatentSync basato sulla diffusione mirano a risultati più nitidi e stabili. La qualità viene giudicata in diversi modi. LSE-D misura la distanza tra gli incorporamenti audio e video di SyncNet, dove inferiore è migliore. LSE-C misura la fiducia di SyncNet, dove più alto è migliore. I parametri di qualità delle immagini come FID e le valutazioni umane coprono il realismo. Un malinteso comune è che un buon punteggio di sincronizzazione significhi un video realistico. Il movimento esagerato della bocca può ottenere un buon punteggio e tuttavia sembrare sbagliato, quindi la valutazione umana rimane essenziale. Una sfida è che molti fonemi condividono la stessa forma visibile della bocca, o visema, quindi la mappatura audio-bocca è molti-a-uno. L'abuso deriva direttamente dalla tecnologia: abbinando una voce clonata con la sincronizzazione labiale si possono produrre affermazioni false e convincenti. I ricercatori hanno dimostrato che le discrepanze tra fonemi e visemi, in particolare le labbra che non riescono a chiudersi su "m", "b" e "p", possono smascherare tali falsi.
Un fornitore di corsi online doppia una lezione in spagnolo e utilizza la sincronizzazione labiale in modo che la bocca dell'istruttore corrisponda all'audio tradotto, annotando la modifica nella descrizione del video.
Un montatore video sincronizza la bocca di un attore con una linea di dialogo ri-registrata dopo le riprese, con il consenso dell'attore, invece di girare nuovamente la scena.
Un fact-checker esamina una clip virale di un politico e nota che le labbra non si chiudono mai completamente sui suoni "b", "p" e "m", un segno noto di un falso con sincronizzazione labiale.
Un ricercatore esegue Wav2Lip su una serie di clip con teste parlanti e valuta i risultati con LSE-D e LSE-C per confrontarli con un modello di sincronizzazione labiale più recente basato sulla diffusione.
La sincronizzazione labiale sta diventando una caratteristica standard degli strumenti di doppiaggio e di localizzazione video, e la ricerca si sta muovendo verso una risoluzione più elevata, denti e lingua stabili e la sincronizzazione di intere espressioni facciali e movimento della testa piuttosto che solo della bocca. Il rilevamento è una corsa agli armamenti: segnali forensi come le discrepanze fonema-visema si indeboliscono man mano che i generatori migliorano. Alcune giurisdizioni hanno iniziato a regolamentare i media sintetici ingannevoli, in particolare in ambito elettorale. Il consenso della persona mostrata, la chiara informativa e l’etichettatura della provenienza rimarranno probabilmente fondamentali per un uso responsabile.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La sincronizzazione labiale basata sull'intelligenza artificiale consente di modificare il video di un volto in modo che i movimenti della bocca corrispondano a una nuova traccia vocale, prevedendo la forma della bocca dal suono stesso. È importante per il doppiaggio di lezioni e film in altre lingue e per la correzione dei dialoghi riregistrati. La stessa tecnica può anche far sembrare che persone reali dicano parole che non hanno mai detto.
Con la bocca reale nascosta, il generatore deve fare affidamento sull'audio per decidere la forma della bocca.
I discriminatori formati insieme al generatore erano deboli giudici della sincronizzazione. Un esperto congelato dà un segnale affidabile.
LSE-D è una distanza, quindi valori più piccoli indicano che l'audio e gli incorporamenti della bocca sono più vicini, il che significa una migliore sincronizzazione.
Il quadro di riferimento fornisce identità e consistenza. L'audio fornisce la forma della bocca.
Wav2Lip ha lavorato su ritagli del viso piccoli, quindi la bocca e i denti spesso apparivano morbidi accanto alla cornice circostante più nitida.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Filigrane invisibili per immagini e audio AI
IA visiva