आगेअगली गाइड
एआई छवियों और ऑडियो के लिए अदृश्य वॉटरमार्क
विजुअल एआई
विज़ुअल एआई गाइड
ऑडियो-संचालित एआई लिप सिंक किसी चेहरे के वीडियो को संपादित करता है ताकि उसके मुंह की गतिविधियां एक नए भाषण ट्रैक से मेल खा सकें, ध्वनि से ही मुंह के आकार की भविष्यवाणी की जा सके।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
यह पाठों और फिल्मों को अन्य भाषाओं में डब करने और दोबारा रिकॉर्ड किए गए संवाद को ठीक करने के लिए मायने रखता है। यही तकनीक वास्तविक लोगों को वे शब्द कहने के लिए भी प्रेरित कर सकती है जो उन्होंने कभी नहीं कहे।
IIIT हैदराबाद (ACM मल्टीमीडिया) के शोधकर्ताओं द्वारा 2020 में प्रकाशित Wav2Lip, सबसे प्रसिद्ध ओपन लिप सिंक मॉडल और क्षेत्र के लिए एक उपयोगी टेम्पलेट है। प्रत्येक लक्ष्य फ्रेम के लिए, जनरेटर को तीन इनपुट प्राप्त होते हैं: चेहरा जिसका निचला आधा हिस्सा बाहर छिपा हुआ है, उसी व्यक्ति का एक संदर्भ फ्रेम जो उपस्थिति प्रदान करता है, और उस पल के आसपास ऑडियो की एक छोटी मेल-स्पेक्ट्रोग्राम विंडो। एक एनकोडर-डिकोडर नेटवर्क फिर मुंह क्षेत्र में पेंट करता है, और परिणाम मूल वीडियो में वापस मिश्रित हो जाता है। मुख्य योगदान SyncNet पर आधारित एक पूर्व-प्रशिक्षित "विशेषज्ञ" सिंक विवेचक था। यह प्रशिक्षण के दौरान स्थिर रहता है और यह निर्धारित करता है कि माउथ फ्रेम का एक छोटा सा भाग ऑडियो से मेल खाता है या नहीं। पहले के तरीकों ने जनरेटर के साथ संयुक्त रूप से एक सिंक डिस्क्रिमिनेटर को प्रशिक्षित किया था, और वे डिस्क्रिमिनेटर सिंक के खराब जज बन गए थे। Wav2Lip ने एक अलग दृश्य-गुणवत्ता विभेदक का भी उपयोग किया। इसकी कमजोरियां कम-रिज़ॉल्यूशन वाली माउथ क्रॉप्स, धुंधले दांत और मास्क की सीमा पर दिखाई देने वाली टांके या झिलमिलाहट थीं। बाद के सिस्टम जैसे VideoReTalking, MuseTalk और डिफ्यूजन-आधारित LatentSync का लक्ष्य तेज, अधिक स्थिर परिणाम देना है। गुणवत्ता को कई तरीकों से आंका जाता है। एलएसई-डी सिंकनेट के ऑडियो और वीडियो एम्बेडिंग के बीच की दूरी को मापता है, जहां कम बेहतर है। एलएसई-सी सिंकनेट के आत्मविश्वास को मापता है, जहां उच्चतर बेहतर है। छवि-गुणवत्ता मेट्रिक्स जैसे एफआईडी और मानव रेटिंग यथार्थवाद को कवर करते हैं। एक आम ग़लतफ़हमी यह है कि अच्छे सिंक स्कोर का मतलब यथार्थवादी वीडियो है। अतिशयोक्तिपूर्ण मुंह की गति अच्छा स्कोर कर सकती है और फिर भी गलत दिख सकती है, इसलिए मानव मूल्यांकन आवश्यक है। एक चुनौती यह है कि कई स्वरों में मुंह का दृश्यमान आकार या विसेम समान होता है, इसलिए ऑडियो-टू-माउथ मैपिंग कई-से-एक होती है। दुरुपयोग सीधे प्रौद्योगिकी से होता है: क्लोन की गई आवाज को लिप सिंक के साथ जोड़ने से ठोस नकली बयान सामने आ सकते हैं। शोधकर्ताओं ने दिखाया है कि फोनेम और विसेम के बीच बेमेल मेल, विशेष रूप से होठों का 'एम', 'बी' और 'पी' पर बंद न होना, ऐसे नकलीपन को उजागर कर सकता है।
एक ऑनलाइन पाठ्यक्रम प्रदाता एक व्याख्यान को स्पैनिश में डब करता है और लिप सिंक का उपयोग करता है ताकि प्रशिक्षक का मुंह अनुवादित ऑडियो से मेल खाए, वीडियो विवरण में संपादन को ध्यान में रखते हुए।
एक वीडियो संपादक दृश्य को दोबारा शूट करने के बजाय, अभिनेता की सहमति से, शूट के बाद दोबारा रिकॉर्ड किए गए संवाद की एक पंक्ति के साथ अभिनेता के मुंह को सिंक करता है।
एक तथ्य-जांचकर्ता एक राजनेता की वायरल क्लिप की जांच करता है और देखता है कि 'बी', 'पी' और 'एम' ध्वनियों पर होंठ कभी भी पूरी तरह से बंद नहीं होते हैं, जो लिप-सिंक किए गए नकली का एक ज्ञात संकेत है।
एक शोधकर्ता टॉकिंग-हेड क्लिप के एक सेट पर Wav2Lip चलाता है और परिणामों को नए प्रसार-आधारित लिप सिंक मॉडल के साथ तुलना करने के लिए LSE-D और LSE-C के साथ स्कोर करता है।
लिप सिंक डबिंग और वीडियो स्थानीयकरण टूल की एक मानक विशेषता बन रही है, और अनुसंधान उच्च रिज़ॉल्यूशन, स्थिर दांतों और जीभ, और केवल मुंह के बजाय पूरे चेहरे के भाव और सिर की गति को सिंक करने की ओर बढ़ रहा है। पता लगाना एक हथियारों की दौड़ है: जेनरेटर में सुधार के साथ-साथ फोनेम-विसेम बेमेल जैसे फोरेंसिक संकेत कमजोर हो जाते हैं। कुछ न्यायक्षेत्रों ने भ्रामक सिंथेटिक मीडिया को विनियमित करना शुरू कर दिया है, खासकर चुनावों के आसपास। दिखाए गए व्यक्ति की सहमति, स्पष्ट प्रकटीकरण, और उत्पत्ति लेबलिंग जिम्मेदार उपयोग के लिए केंद्रीय बने रहने की संभावना है।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
ऑडियो-संचालित एआई लिप सिंक किसी चेहरे के वीडियो को संपादित करता है ताकि उसके मुंह की गतिविधियां एक नए भाषण ट्रैक से मेल खा सकें, ध्वनि से ही मुंह के आकार की भविष्यवाणी की जा सके। यह पाठों और फिल्मों को अन्य भाषाओं में डब करने और दोबारा रिकॉर्ड किए गए संवाद को ठीक करने के लिए मायने रखता है। यही तकनीक वास्तविक लोगों को वे शब्द कहने के लिए भी प्रेरित कर सकती है जो उन्होंने कभी नहीं कहे।
असली मुंह छिपा होने के कारण, जनरेटर को मुंह का आकार तय करने के लिए ऑडियो पर निर्भर रहना पड़ता है।
जनरेटर के साथ संयुक्त रूप से प्रशिक्षित विवेचक सिंक के कमजोर निर्णायक थे। एक जमे हुए विशेषज्ञ एक विश्वसनीय संकेत देता है।
एलएसई-डी एक दूरी है, इसलिए छोटे मूल्यों का मतलब है कि ऑडियो और माउथ एम्बेडिंग करीब हैं, जिसका मतलब है बेहतर सिंक।
संदर्भ फ़्रेम पहचान और बनावट प्रदान करता है। ऑडियो मुंह का आकार प्रदान करता है।
Wav2Lip छोटे चेहरे की फसलों पर काम करता है, इसलिए मुंह और दांत अक्सर तेज आसपास के फ्रेम के बगल में नरम दिखते हैं।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
एआई छवियों और ऑडियो के लिए अदृश्य वॉटरमार्क
विजुअल एआई