आगेअगली गाइड
एआई वीडियो में भौतिकी गलत क्यों हो जाती है?
विजुअल एआई
विज़ुअल एआई गाइड
टेम्पोरल कंसिस्टेंसी एक एआई वीडियो मॉडल की चेहरे, वस्तुओं, बनावट और प्रकाश व्यवस्था को एक फ्रेम से दूसरे फ्रेम तक स्थिर रखने की क्षमता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
फ़्लिकर वह है जो आप तब देखते हैं जब यह विफल हो जाता है: फ़्रेम के बीच विवरण झिलमिलाते हैं, शिफ्ट होते हैं या चुपचाप बदलते हैं। यह मायने रखता है क्योंकि दर्शक छोटे फ्रेम-टू-फ्रेम परिवर्तनों को भी नोटिस करते हैं, और यह सबसे स्पष्ट संकेतों में से एक है कि फुटेज फिल्माए जाने के बजाय उत्पन्न किया गया था।
फ़्लिकर पहली बार एक व्यापक रूप से ज्ञात समस्या बन गई जब लोगों ने छवि जनरेटर के साथ वीडियो बनाया। यदि आप प्रत्येक फ्रेम को अलग से परिभाषित करते हैं, तो प्रत्येक फ्रेम अपने स्वयं के यादृच्छिक शोर से शुरू होता है और बनावट, बाल किस्में या शर्ट पर पैटर्न के बारे में अपनी छोटी पसंद बनाता है। प्रत्येक फ्रेम अकेले अच्छा दिखता है, लेकिन क्रम में खेलने पर उन स्वतंत्र विकल्पों को झिलमिलाहट के रूप में पढ़ा जाता है। स्टेबल वीडियो डिफ्यूजन (2023), OpenAI के Sora (2024 में पूर्वावलोकन), Runway के Gen-3 और Google के Veo मॉडल सहित आधुनिक वीडियो जनरेटर, एक संपीड़ित अव्यक्त स्थान में एक क्लिप के फ्रेम उत्पन्न करते हैं और समय के साथ ध्यान का उपयोग करते हैं, इसलिए प्रत्येक फ्रेम को दूसरों द्वारा आकार दिया जाता है। यही मुख्य कारण है कि हालिया क्लिप प्रारंभिक प्रयोगों की तुलना में अधिक स्थिर हैं। बहाव अभी भी होता है, कई कारणों से। बारीक, उच्च-आवृत्ति विवरण जैसे कि बाल, पत्ते, पानी और ऑन-स्क्रीन टेक्स्ट सबसे कठिन है, क्योंकि छोटे विवरणों में छोटी त्रुटियां चमक के रूप में दिखाई देती हैं। जब कोई चीज किसी अन्य वस्तु के पीछे छिपी होती है, तो मॉडल को अंतराल के माध्यम से अपनी उपस्थिति दिखानी होती है, और वह उसे थोड़ा अलग तरीके से वापस ला सकता है। लंबे वीडियो अक्सर छोटी क्लिपों को बढ़ाकर या सिलाई करके बनाए जाते हैं, और क्योंकि मॉडल केवल हाल के फ़्रेमों की एक सीमित विंडो देखता है, पहचान समय के साथ भटक सकती है। वीडियो ऑटोएनकोडर में संपीड़न उन कलाकृतियों को भी जोड़ सकता है जहां टुकड़े जुड़ते हैं। कुछ सामान्य ग़लतफ़हमियाँ हैं। फ़्लिकर मुख्य रूप से फ़्रेम-दर की समस्या नहीं है, और रिज़ॉल्यूशन बढ़ाने से यह अपने आप ठीक नहीं होता है। पोस्ट-प्रोसेसिंग चमक झिलमिलाहट को सुचारू कर सकती है, लेकिन एक बार बदल जाने के बाद यह किसी चरित्र के चेहरे को पुनर्स्थापित नहीं कर सकती है। फ़्रेम इंटरपोलेशन गति को आसान बना सकता है, लेकिन यह नए फ़्रेमों में बहाव को खराब भी कर सकता है। वास्तविक सुधार पीढ़ी के दौरान होते हैं: अस्थायी ध्यान, संदर्भ-छवि कंडीशनिंग, और पहले के फ्रेम से बाद के फ्रेम में जानकारी का प्रसार।
एक उत्पन्न चरित्र के जैकेट में एक फ्रेम में तीन बटन होते हैं और एक पल बाद चार, फिर तीन, क्योंकि बारीक विवरण पिछले फ्रेम से मजबूती से बंधे नहीं थे।
एक शौकिया नृत्य क्लिप पर फ्रेम दर फ्रेम एक छवि मॉडल चलाता है ताकि यह एक तेल चित्रकला की तरह दिखे, और पृष्ठभूमि ब्रशस्ट्रोक रेंगते और उबलते हैं क्योंकि प्रत्येक फ्रेम अलग-अलग यादृच्छिक शोर से शुरू होता है।
फ़्रेम के बीच चमक पल्स को सुचारू करने के लिए एक संपादक एआई क्लिप पर एक डिफ्लिकर फ़िल्टर लागू करता है। प्रकाश स्थिर रहता है, लेकिन एक चेहरा जो धीरे-धीरे आकार बदलता है वह बिल्कुल वैसा ही रहता है, क्योंकि फ़िल्टर केवल चमक को सही करता है।
एक क्रिएटर टूल के इमेज-टू-वीडियो मोड में किसी चरित्र के संदर्भ फोटो से शुरुआत करता है, इसलिए पहला फ्रेम पहचान में लॉक हो जाता है और चेहरा अकेले टेक्स्ट प्रॉम्प्ट की तुलना में अधिक स्थिर रहता है।
अनुसंधान लंबे संदर्भ और स्पष्ट स्मृति पर केंद्रित है, इसलिए एक मॉडल किसी चरित्र या कमरे को सेकंड के बजाय मिनटों में याद रख सकता है। कैश्ड संदर्भ, बेहतर संदर्भ कंडीशनिंग और मल्टी-शॉट कैरेक्टर लॉकिंग के साथ ऑटोरेग्रेसिव पीढ़ी अनुसंधान और वाणिज्यिक उपकरण दोनों में सक्रिय दिशाएं हैं। वीबेंच जैसे बेंचमार्क पहले से ही अस्थायी झिलमिलाहट और विषय स्थिरता जैसे आयामों को अलग से स्कोर करते हैं, जिससे प्रगति को मापना आसान हो जाता है। लंबी क्लिप की तुलना में छोटी क्लिप में तेजी से सुधार होने की संभावना है, क्योंकि लंबाई के साथ लागत तेजी से बढ़ती है। संपादनों, अवरोधों और दृश्य कटों में एकरूपता अभी भी सुलझी हुई समस्या के बजाय एक खुली समस्या है।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
टेम्पोरल कंसिस्टेंसी एक एआई वीडियो मॉडल की चेहरे, वस्तुओं, बनावट और प्रकाश व्यवस्था को एक फ्रेम से दूसरे फ्रेम तक स्थिर रखने की क्षमता है। फ़्लिकर वह है जो आप तब देखते हैं जब यह विफल हो जाता है: फ़्रेम के बीच विवरण झिलमिलाते हैं, शिफ्ट होते हैं या चुपचाप बदलते हैं। यह मायने रखता है क्योंकि दर्शक छोटे फ्रेम-टू-फ्रेम परिवर्तनों को भी नोटिस करते हैं, और यह सबसे स्पष्ट संकेतों में से एक है कि फुटेज फिल्माए जाने के बजाय उत्पन्न किया गया था।
जब फ़्रेम को स्वतंत्र रूप से निरूपित किया जाता है, तो प्रत्येक बनावट और विवरण के बारे में अपने स्वयं के छोटे विकल्प बनाता है। अनुक्रम में बजाए जाने पर, वे असंबद्ध विकल्प झिलमिलाते हुए दिखते हैं।
फ़्रेमों को जोड़ने वाले ध्यान के साथ समग्र रूप से एक क्लिप तैयार करना, प्रत्येक फ़्रेम को दूसरों द्वारा आकार देने देता है, जो स्वतंत्र बहाव को कम करता है।
बारीक विवरण में छोटी त्रुटियां चमक या झिलमिलाहट के रूप में दिखाई देती हैं, इसलिए बाल, पत्तियां, पानी और पाठ सामान्य कमजोर बिंदु हैं।
डिफ्लिकर उपकरण चमक में बदलाव को भी संतुलित करते हैं। वे जनरेटर द्वारा बदली गई पहचान या वस्तु विवरण को पुनर्स्थापित नहीं कर सकते।
यदि मॉडल केवल हाल के फ़्रेमों पर ही स्थिति में है, तो छोटे-छोटे परिवर्तन ढेर हो जाते हैं और चरित्र पहले जैसा दिखता था उससे भटक सकता है।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
एआई वीडियो में भौतिकी गलत क्यों हो जाती है?
विजुअल एआई