विज़ुअल एआई गाइड

ऑडियो-संचालित एआई लिप सिंक

ऑडियो-संचालित एआई लिप सिंक किसी चेहरे के वीडियो को संपादित करता है ताकि उसके मुंह की गतिविधियां एक नए भाषण ट्रैक से मेल खा सकें, ध्वनि से ही मुंह के आकार की भविष्यवाणी की जा सके।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर4 मिनट पढ़ें
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. ऑडियो-संचालित एआई लिप सिंक का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

यह पाठों और फिल्मों को अन्य भाषाओं में डब करने और दोबारा रिकॉर्ड किए गए संवाद को ठीक करने के लिए मायने रखता है। यही तकनीक वास्तविक लोगों को वे शब्द कहने के लिए भी प्रेरित कर सकती है जो उन्होंने कभी नहीं कहे।

गहरा गोता

IIIT हैदराबाद (ACM मल्टीमीडिया) के शोधकर्ताओं द्वारा 2020 में प्रकाशित Wav2Lip, सबसे प्रसिद्ध ओपन लिप सिंक मॉडल और क्षेत्र के लिए एक उपयोगी टेम्पलेट है। प्रत्येक लक्ष्य फ्रेम के लिए, जनरेटर को तीन इनपुट प्राप्त होते हैं: चेहरा जिसका निचला आधा हिस्सा बाहर छिपा हुआ है, उसी व्यक्ति का एक संदर्भ फ्रेम जो उपस्थिति प्रदान करता है, और उस पल के आसपास ऑडियो की एक छोटी मेल-स्पेक्ट्रोग्राम विंडो। एक एनकोडर-डिकोडर नेटवर्क फिर मुंह क्षेत्र में पेंट करता है, और परिणाम मूल वीडियो में वापस मिश्रित हो जाता है। मुख्य योगदान SyncNet पर आधारित एक पूर्व-प्रशिक्षित "विशेषज्ञ" सिंक विवेचक था। यह प्रशिक्षण के दौरान स्थिर रहता है और यह निर्धारित करता है कि माउथ फ्रेम का एक छोटा सा भाग ऑडियो से मेल खाता है या नहीं। पहले के तरीकों ने जनरेटर के साथ संयुक्त रूप से एक सिंक डिस्क्रिमिनेटर को प्रशिक्षित किया था, और वे डिस्क्रिमिनेटर सिंक के खराब जज बन गए थे। Wav2Lip ने एक अलग दृश्य-गुणवत्ता विभेदक का भी उपयोग किया। इसकी कमजोरियां कम-रिज़ॉल्यूशन वाली माउथ क्रॉप्स, धुंधले दांत और मास्क की सीमा पर दिखाई देने वाली टांके या झिलमिलाहट थीं। बाद के सिस्टम जैसे VideoReTalking, MuseTalk और डिफ्यूजन-आधारित LatentSync का लक्ष्य तेज, अधिक स्थिर परिणाम देना है। गुणवत्ता को कई तरीकों से आंका जाता है। एलएसई-डी सिंकनेट के ऑडियो और वीडियो एम्बेडिंग के बीच की दूरी को मापता है, जहां कम बेहतर है। एलएसई-सी सिंकनेट के आत्मविश्वास को मापता है, जहां उच्चतर बेहतर है। छवि-गुणवत्ता मेट्रिक्स जैसे एफआईडी और मानव रेटिंग यथार्थवाद को कवर करते हैं। एक आम ग़लतफ़हमी यह है कि अच्छे सिंक स्कोर का मतलब यथार्थवादी वीडियो है। अतिशयोक्तिपूर्ण मुंह की गति अच्छा स्कोर कर सकती है और फिर भी गलत दिख सकती है, इसलिए मानव मूल्यांकन आवश्यक है। एक चुनौती यह है कि कई स्वरों में मुंह का दृश्यमान आकार या विसेम समान होता है, इसलिए ऑडियो-टू-माउथ मैपिंग कई-से-एक होती है। दुरुपयोग सीधे प्रौद्योगिकी से होता है: क्लोन की गई आवाज को लिप सिंक के साथ जोड़ने से ठोस नकली बयान सामने आ सकते हैं। शोधकर्ताओं ने दिखाया है कि फोनेम और विसेम के बीच बेमेल मेल, विशेष रूप से होठों का 'एम', 'बी' और 'पी' पर बंद न होना, ऐसे नकलीपन को उजागर कर सकता है।

वास्तविक विश्व कार्यान्वयन

एक ऑनलाइन पाठ्यक्रम प्रदाता एक व्याख्यान को स्पैनिश में डब करता है और लिप सिंक का उपयोग करता है ताकि प्रशिक्षक का मुंह अनुवादित ऑडियो से मेल खाए, वीडियो विवरण में संपादन को ध्यान में रखते हुए।

एक वीडियो संपादक दृश्य को दोबारा शूट करने के बजाय, अभिनेता की सहमति से, शूट के बाद दोबारा रिकॉर्ड किए गए संवाद की एक पंक्ति के साथ अभिनेता के मुंह को सिंक करता है।

एक तथ्य-जांचकर्ता एक राजनेता की वायरल क्लिप की जांच करता है और देखता है कि 'बी', 'पी' और 'एम' ध्वनियों पर होंठ कभी भी पूरी तरह से बंद नहीं होते हैं, जो लिप-सिंक किए गए नकली का एक ज्ञात संकेत है।

एक शोधकर्ता टॉकिंग-हेड क्लिप के एक सेट पर Wav2Lip चलाता है और परिणामों को नए प्रसार-आधारित लिप सिंक मॉडल के साथ तुलना करने के लिए LSE-D और LSE-C के साथ स्कोर करता है।

ऑडियो-संचालित एआई लिप सिंक का भविष्य

लिप सिंक डबिंग और वीडियो स्थानीयकरण टूल की एक मानक विशेषता बन रही है, और अनुसंधान उच्च रिज़ॉल्यूशन, स्थिर दांतों और जीभ, और केवल मुंह के बजाय पूरे चेहरे के भाव और सिर की गति को सिंक करने की ओर बढ़ रहा है। पता लगाना एक हथियारों की दौड़ है: जेनरेटर में सुधार के साथ-साथ फोनेम-विसेम बेमेल जैसे फोरेंसिक संकेत कमजोर हो जाते हैं। कुछ न्यायक्षेत्रों ने भ्रामक सिंथेटिक मीडिया को विनियमित करना शुरू कर दिया है, खासकर चुनावों के आसपास। दिखाए गए व्यक्ति की सहमति, स्पष्ट प्रकटीकरण, और उत्पत्ति लेबलिंग जिम्मेदार उपयोग के लिए केंद्रीय बने रहने की संभावना है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • गति और पैमाना. विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।
  • विकल्प बनाएं. रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।
  • टीम और वर्कफ़्लो. संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।

का ध्यान रखें

  • यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।
  • मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।
  • जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।

अगले चरण

  1. सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।
  2. वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।
  3. कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।
  4. कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

ऑडियो-संचालित एआई लिप सिंक क्विज़ लें

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

ऑडियो-संचालित एआई लिप सिंक क्या है?

ऑडियो-संचालित एआई लिप सिंक किसी चेहरे के वीडियो को संपादित करता है ताकि उसके मुंह की गतिविधियां एक नए भाषण ट्रैक से मेल खा सकें, ध्वनि से ही मुंह के आकार की भविष्यवाणी की जा सके। यह पाठों और फिल्मों को अन्य भाषाओं में डब करने और दोबारा रिकॉर्ड किए गए संवाद को ठीक करने के लिए मायने रखता है। यही तकनीक वास्तविक लोगों को वे शब्द कहने के लिए भी प्रेरित कर सकती है जो उन्होंने कभी नहीं कहे।

Wav2Lip लक्ष्य चेहरे के निचले आधे हिस्से को क्यों ढक देता है?

असली मुंह छिपा होने के कारण, जनरेटर को मुंह का आकार तय करने के लिए ऑडियो पर निर्भर रहना पड़ता है।

Wav2Lip के सिंक डिस्क्रिमिनेटर को पहले के तरीकों से क्या अलग बनाता है?

जनरेटर के साथ संयुक्त रूप से प्रशिक्षित विवेचक सिंक के कमजोर निर्णायक थे। एक जमे हुए विशेषज्ञ एक विश्वसनीय संकेत देता है।

एलएसई-डी को कैसे पढ़ा जाना चाहिए?

एलएसई-डी एक दूरी है, इसलिए छोटे मूल्यों का मतलब है कि ऑडियो और माउथ एम्बेडिंग करीब हैं, जिसका मतलब है बेहतर सिंक।

Wav2Lip में संदर्भ फ़्रेम की क्या भूमिका है?

संदर्भ फ़्रेम पहचान और बनावट प्रदान करता है। ऑडियो मुंह का आकार प्रदान करता है।

मूल Wav2Lip की ज्ञात दृश्य कमजोरी कौन सी थी?

Wav2Lip छोटे चेहरे की फसलों पर काम करता है, इसलिए मुंह और दांत अक्सर तेज आसपास के फ्रेम के बगल में नरम दिखते हैं।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →