GUIDA AI visiva

Sincronizzazione labiale AI basata sull'audio

La sincronizzazione labiale basata sull'intelligenza artificiale consente di modificare il video di un volto in modo che i movimenti della bocca corrispondano a una nuova traccia vocale, prevedendo la forma della bocca dal suono stesso.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della sincronizzazione labiale basata sull'intelligenza artificiale
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante per il doppiaggio di lezioni e film in altre lingue e per la correzione dei dialoghi riregistrati. La stessa tecnica può anche far sembrare che persone reali dicano parole che non hanno mai detto.

Immersione profonda

Wav2Lip, pubblicato nel 2020 dai ricercatori dell'IIIT Hyderabad (ACM Multimedia), è il modello di sincronizzazione labiale aperta più noto e un modello utile per questo settore. Per ogni fotogramma target, il generatore riceve tre input: il volto con la metà inferiore mascherata, un fotogramma di riferimento della stessa persona che fornisce l'apparenza e una breve finestra dello spettrogramma mel dell'audio attorno a quel momento. Una rete codificatore-decodificatore dipinge quindi la regione della bocca e il risultato viene reintegrato nel video originale. Il contributo chiave è stato un discriminatore di sincronizzazione "esperto" pre-addestrato basato su SyncNet. Rimane congelato durante l'allenamento e giudica se una breve sequenza di fotogrammi della bocca corrisponde all'audio. Gli approcci precedenti addestravano un discriminatore di sincronizzazione insieme al generatore, e questi discriminatori si rivelarono scarsi giudici della sincronizzazione. Wav2Lip utilizzava anche un discriminatore separato per la qualità visiva. I suoi punti deboli erano ritagli della bocca a bassa risoluzione, denti sfocati e cuciture visibili o sfarfallio al confine della maschera. Sistemi successivi come VideoReTalking, MuseTalk e LatentSync basato sulla diffusione mirano a risultati più nitidi e stabili. La qualità viene giudicata in diversi modi. LSE-D misura la distanza tra gli incorporamenti audio e video di SyncNet, dove inferiore è migliore. LSE-C misura la fiducia di SyncNet, dove più alto è migliore. I parametri di qualità delle immagini come FID e le valutazioni umane coprono il realismo. Un malinteso comune è che un buon punteggio di sincronizzazione significhi un video realistico. Il movimento esagerato della bocca può ottenere un buon punteggio e tuttavia sembrare sbagliato, quindi la valutazione umana rimane essenziale. Una sfida è che molti fonemi condividono la stessa forma visibile della bocca, o visema, quindi la mappatura audio-bocca è molti-a-uno. L'abuso deriva direttamente dalla tecnologia: abbinando una voce clonata con la sincronizzazione labiale si possono produrre affermazioni false e convincenti. I ricercatori hanno dimostrato che le discrepanze tra fonemi e visemi, in particolare le labbra che non riescono a chiudersi su "m", "b" e "p", possono smascherare tali falsi.

Implementazione nel mondo reale

Un fornitore di corsi online doppia una lezione in spagnolo e utilizza la sincronizzazione labiale in modo che la bocca dell'istruttore corrisponda all'audio tradotto, annotando la modifica nella descrizione del video.

Un montatore video sincronizza la bocca di un attore con una linea di dialogo ri-registrata dopo le riprese, con il consenso dell'attore, invece di girare nuovamente la scena.

Un fact-checker esamina una clip virale di un politico e nota che le labbra non si chiudono mai completamente sui suoni "b", "p" e "m", un segno noto di un falso con sincronizzazione labiale.

Un ricercatore esegue Wav2Lip su una serie di clip con teste parlanti e valuta i risultati con LSE-D e LSE-C per confrontarli con un modello di sincronizzazione labiale più recente basato sulla diffusione.

Il futuro della sincronizzazione labiale basata sull'intelligenza artificiale

La sincronizzazione labiale sta diventando una caratteristica standard degli strumenti di doppiaggio e di localizzazione video, e la ricerca si sta muovendo verso una risoluzione più elevata, denti e lingua stabili e la sincronizzazione di intere espressioni facciali e movimento della testa piuttosto che solo della bocca. Il rilevamento è una corsa agli armamenti: segnali forensi come le discrepanze fonema-visema si indeboliscono man mano che i generatori migliorano. Alcune giurisdizioni hanno iniziato a regolamentare i media sintetici ingannevoli, in particolare in ambito elettorale. Il consenso della persona mostrata, la chiara informativa e l’etichettatura della provenienza rimarranno probabilmente fondamentali per un uso responsabile.

Metterlo in pratica

Perché è importante

  • Velocità e scala. L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
  • Scelte di build. I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
  • Team e flusso di lavoro. Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.

Attenzione

  • I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
  • Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
  • I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.

Prossimi passi

  1. Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
  2. Testare con dati che corrispondono alle reali condizioni di produzione.
  3. Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
  4. Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Audio-Driven AI Lip Sync quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos'è la sincronizzazione labiale basata sull'audio basata sull'intelligenza artificiale?

La sincronizzazione labiale basata sull'intelligenza artificiale consente di modificare il video di un volto in modo che i movimenti della bocca corrispondano a una nuova traccia vocale, prevedendo la forma della bocca dal suono stesso. È importante per il doppiaggio di lezioni e film in altre lingue e per la correzione dei dialoghi riregistrati. La stessa tecnica può anche far sembrare che persone reali dicano parole che non hanno mai detto.

Perché Wav2Lip maschera la metà inferiore della faccia target?

Con la bocca reale nascosta, il generatore deve fare affidamento sull'audio per decidere la forma della bocca.

Cosa ha reso il discriminatore di sincronizzazione di Wav2Lip diverso dagli approcci precedenti?

I discriminatori formati insieme al generatore erano deboli giudici della sincronizzazione. Un esperto congelato dà un segnale affidabile.

Come va letto LSE-D?

LSE-D è una distanza, quindi valori più piccoli indicano che l'audio e gli incorporamenti della bocca sono più vicini, il che significa una migliore sincronizzazione.

Qual è il ruolo del quadro di riferimento in Wav2Lip?

Il quadro di riferimento fornisce identità e consistenza. L'audio fornisce la forma della bocca.

Qual era un punto debole visivo noto dell'originale Wav2Lip?

Wav2Lip ha lavorato su ritagli del viso piccoli, quindi la bocca e i denti spesso apparivano morbidi accanto alla cornice circostante più nitida.