SeterusnyaPanduan seterusnya
Tera Air Halimunan untuk Imej dan Audio AI
AI Visual
PANDUAN AI Visual
Sinkronisasi bibir AI yang dipacu audio menyunting video wajah supaya pergerakan mulutnya sepadan dengan jejak suara baharu, dengan meramalkan bentuk mulut daripada bunyi itu sendiri.
Dengar panduan iniAI-diceritakan · ~3 min
Ia penting untuk menalih suara pelajaran dan filem ke dalam bahasa lain serta untuk membetulkan dialog yang dirakam semula. Teknik yang sama juga boleh menjadikan orang sebenar kelihatan seperti menyebut perkataan yang tidak pernah mereka ucapkan.
Wav2Lip, published in 2020 by researchers at IIIT Hyderabad (ACM Multimedia), is the best-known open lip sync model and a useful template for the field. For each target frame, the generator receives three inputs: the face with its lower half masked out, a reference frame of the same person that supplies appearance, and a short mel-spectrogram window of the audio around that moment. An encoder-decoder network then paints in the mouth region, and the result is blended back into the original video. The key contribution was a pre-trained "expert" sync discriminator based on SyncNet. It stays frozen during training and judges whether a short run of mouth frames matches the audio. Earlier approaches trained a sync discriminator jointly with the generator, and those discriminators turned out to be poor judges of sync. Wav2Lip also used a separate visual-quality discriminator. Its weaknesses were low-resolution mouth crops, blurry teeth and visible seams or flicker at the mask boundary. Later systems such as VideoReTalking, MuseTalk and diffusion-based LatentSync aim for sharper, more stable results. Quality is judged in several ways. LSE-D measures the distance between SyncNet's audio and video embeddings, where lower is better. LSE-C measures SyncNet's confidence, where higher is better. Image-quality metrics such as FID and human ratings cover realism. A common misconception is that a good sync score means a realistic video. Exaggerated mouth motion can score well and still look wrong, so human evaluation remains essential. One challenge is that many phonemes share the same visible mouth shape, or viseme, so the audio-to-mouth mapping is many-to-one. Misuse follows directly from the technology: pairing a cloned voice with lip sync can produce convincing fake statements. Researchers have shown that mismatches between phonemes and visemes, especially lips failing to close on 'm', 'b' and 'p', can expose such fakes.
Sebuah syarikat penyedia kursus dalam talian menalih suara syarahan ke dalam bahasa Sepanyol dan menggunakan penyegerakan bibir supaya mulut pengajar sepadan dengan audio yang diterjemahkan, sambil menyatakan suntingan itu pada keterangan video.
Seorang penyunting video menyegerakkan mulut pelakon dengan baris dialog yang dirakam semula selepas penggambaran, dengan kebenaran pelakon itu, dan bukannya merakam semula babak tersebut.
Seorang pemeriksa fakta meneliti klip tular seorang ahli politik dan mendapati bibir tidak pernah tertutup sepenuhnya pada bunyi 'b', 'p' dan 'm', yang merupakan tanda biasa bagi kepalsuan yang disegerakkan bibirnya.
Seorang penyelidik menjalankan Wav2Lip pada set klip kepala-bercakap dan memarkah keputusan tersebut dengan LSE-D dan LSE-C untuk membandingkannya dengan model penyegerakan bibir berasaskan resapan yang lebih baharu.
Penyegerakan bibir sedang menjadi ciri standard bagi alat penalih suara dan pelokalan video, dan penyelidikan sedang beralih ke arah resolusi yang lebih tinggi, gigi dan lidah yang stabil, serta penyegerakan keseluruhan ekspresi wajah dan pergerakan kepala dan bukannya sekadar mulut. Pengesanan adalah satu persaingan sengit: petunjuk forensik seperti ketidakpadanan fonem-visem semakin lemah apabila penjana semakin baik. Sesetengah bidang kuasa mula mengawal selia media sintetik yang menipu, terutamanya semasa pilihan raya. Persetujuan daripada orang yang dipaparkan, pendedahan yang jelas, dan pelabelan asal usul mungkin akan kekal penting untuk penggunaan yang bertanggungjawab.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Penyegerakan bibir AI didorong audio menyunting video wajah supaya pergerakan mulutnya sepadan dengan trek pertuturan baharu, meramalkan bentuk mulut daripada bunyi itu sendiri. Ia penting untuk menalih suara pelajaran dan filem ke dalam bahasa lain serta untuk membetulkan dialog yang dirakam semula. Teknik yang sama juga boleh menjadikan orang sebenar kelihatan seperti menyebut perkataan yang tidak pernah mereka ucapkan.
Dengan mulut sebenar disembunyikan, penjana terpaksa bergantung pada audio untuk menentukan bentuk mulut.
Diskriminator yang dilatih bersama-sama dengan penjana merupakan penilai penyegerakan yang lemah. Pakar yang ditetapkan memberikan isyarat yang boleh dipercayai.
LSE-D ialah jarak, jadi nilai yang lebih kecil bermakna pengekodan audio dan mulut adalah lebih dekat, yang bermaksud penyegerakan yang lebih baik.
Bingkai rujukan menyediakan identiti dan tekstur. Audio menyediakan bentuk mulut.
Wav2Lip berfungsi pada potongan wajah yang kecil, jadi mulut dan gigi selalunya kelihatan lembut berbanding bingkai sekeliling yang lebih tajam.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Tera Air Halimunan untuk Imej dan Audio AI
AI Visual