आगेअगली गाइड
एआई वीडियो जेनरेशन में कैमरा नियंत्रण
विजुअल एआई
विज़ुअल एआई गाइड
छवि-से-वीडियो पीढ़ी एकल स्थिर छवि को लघु वीडियो क्लिप में बदल देती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
मॉडल छवि को पहले फ्रेम के रूप में या दृश्य एंकर के रूप में उपयोग करता है और वहां से प्रशंसनीय गति का आविष्कार करता है। यह मायने रखता है क्योंकि निर्माता किसी शॉट को एनिमेट करने से पहले ठीक से तय कर सकते हैं कि वह कैसा दिखेगा, जिसकी अकेले टेक्स्ट-टू-वीडियो शायद ही कभी अनुमति देता है।
अधिकांश वर्तमान छवि-से-वीडियो सिस्टम अव्यक्त वीडियो प्रसार मॉडल हैं। इनपुट छवि को एक ऑटोएनकोडर द्वारा एक अव्यक्त में संपीड़ित किया जाता है, और वह अव्यक्त प्रत्येक चरण पर डीनोइज़िंग नेटवर्क को दिया जाता है, अक्सर इसे प्रत्येक फ्रेम के शोर अव्यक्त के साथ चैनल-वार जोड़कर। कई मॉडल क्रॉस-अटेंशन के माध्यम से छवि के सिमेंटिक एम्बेडिंग को भी इंजेक्ट करते हैं, जैसे कि सीएलआईपी छवि एम्बेडिंग। अस्थायी ध्यान परतें फ़्रेम को जानकारी साझा करने देती हैं, इसलिए मॉडल सभी फ़्रेमों को एक सुसंगत क्लिप में दर्शाता है जो दी गई छवि से शुरू होती है। नवंबर 2023 में Stability AI द्वारा जारी स्टेबल वीडियो डिफ्यूजन, 14-फ्रेम और 25-फ्रेम वेरिएंट के साथ एक अच्छी तरह से प्रलेखित खुला उदाहरण है। Runway, Kling, Luma ड्रीम मशीन और Google के Veo जैसे वाणिज्यिक उपकरण छवि-से-वीडियो प्रदान करते हैं, और वान और हुनयुआनवीडियो जैसे खुले मॉडल में छवि-वातानुकूलित संस्करण होते हैं। गति शक्ति को कई तरीकों से नियंत्रित किया जाता है। स्थिर वीडियो डिफ्यूज़न एक "मोशन बकेट" मान लेता है, जो इसमें शामिल ऑप्टिकल प्रवाह प्रशिक्षण क्लिप, साथ ही फ्रेम-दर कंडीशनिंग से सीखा जाता है। यह कंडीशनिंग छवि में शोर भी जोड़ता है। इस शोर वृद्धि से वीडियो इनपुट से दूर चला जाता है, जिससे अधिक गति मिलती है लेकिन कम निष्ठा मिलती है। वाणिज्यिक उपकरण आमतौर पर मोशन स्लाइडर, कैमरा प्रीसेट या गति का वर्णन करने वाला टेक्स्ट प्रॉम्प्ट प्रदर्शित करते हैं। विशिष्ट कलाकृतियों में मॉर्फिंग (वस्तुओं का एक-दूसरे में पिघलना), कुछ सेकंड के बाद चेहरों में पहचान का बहाव, तेज गति के दौरान अतिरिक्त या विकृत अंग, और बनावट तैराकी, जहां बारीक पैटर्न सतहों पर फिसलते प्रतीत होते हैं, शामिल हैं। अन्य सामान्य समस्याएं हैं एक सपाट "2.5डी" लंबन लुक, कम गति सेटिंग्स पर लगभग जमे हुए आउटपुट, और तरल पदार्थ और कपड़े में भौतिकी त्रुटियां। एक आम ग़लतफ़हमी यह है कि मॉडल 3डी दृश्य को समझता है। यह प्रशंसनीय पिक्सेल की भविष्यवाणी करता है। जब कोई चलती हुई वस्तु यह बताती है कि उसके पीछे क्या था, तो मॉडल को उस क्षेत्र के बारे में कोई जानकारी नहीं होती है और वह उसका आविष्कार कर देता है।
एक उत्पाद फ़ोटोग्राफ़र एक इत्र की बोतल के चित्र को बहती धुंध और धीमी गति से पुश-इन के साथ एनिमेट करता है, और बिना वीडियो शूट के पांच सेकंड का सामाजिक विज्ञापन तैयार करता है।
एक संग्रहालय एक स्कैन की गई लैंडस्केप पेंटिंग को एनिमेट करता है जिससे बादल बहते हैं और पानी की लहरें उठती हैं, और क्लिप को गैलरी में एआई-जनरेटेड के रूप में लेबल करता है।
एक फिल्म निर्माता एक छवि मॉडल के साथ दो स्टोरीबोर्ड फ्रेम बनाता है, फिर उनके बीच एक नियंत्रित संक्रमण प्राप्त करने के लिए पहले और आखिरी फ्रेम वीडियो मोड का उपयोग करता है।
एक शौकीन स्थानीय स्तर पर स्थिर वीडियो डिफ्यूजन चलाता है, एक शांत समुद्र तट की तस्वीर को दुर्घटनाग्रस्त लहरों में बदलने के लिए गति सेटिंग बढ़ाता है, और देखता है कि पृष्ठभूमि में चेहरे विकृत होने लगते हैं।
क्लिप की लंबाई, रिज़ॉल्यूशन और गति सुसंगतता में लगातार सुधार हुआ है, और प्रथम-और-अंतिम-फ़्रेम नियंत्रण और कैमरा प्रीसेट मानक विशेषताएं बन रहे हैं। शारीरिक रूप से सही गति, लंबी क्लिप पर स्थिर पहचान, और अवरुद्ध क्षेत्रों की विश्वसनीय हैंडलिंग सामान्य समाधान के बिना अभी भी कठिन समस्याएं हैं। अचानक उछाल के बजाय धीरे-धीरे लाभ की अपेक्षा करें। जैसे-जैसे एनिमेटेड चित्रों को वास्तविक फ़ुटेज से अलग करना कठिन होता जा रहा है, सामग्री प्रमाण-पत्र और स्पष्ट लेबलिंग जैसे उद्गम दृष्टिकोण समाचार, अभिलेखागार और शिक्षा के लिए अधिक मायने रखेंगे।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
छवि-से-वीडियो पीढ़ी एकल स्थिर छवि को लघु वीडियो क्लिप में बदल देती है। मॉडल छवि को पहले फ्रेम के रूप में या दृश्य एंकर के रूप में उपयोग करता है और वहां से प्रशंसनीय गति का आविष्कार करता है। यह मायने रखता है क्योंकि निर्माता किसी शॉट को एनिमेट करने से पहले ठीक से तय कर सकते हैं कि वह कैसा दिखेगा, जिसकी अकेले टेक्स्ट-टू-वीडियो शायद ही कभी अनुमति देता है।
छवि अव्यक्त को प्रत्येक फ्रेम के शोर वाले अव्यक्त के साथ प्रत्येक डीनोइज़िंग चरण पर स्टैक किया जाता है, जो क्लिप को इनपुट से जोड़ता है।
प्रशिक्षण क्लिप को इस आधार पर समूहीकृत किया गया था कि उनमें कितना ऑप्टिकल प्रवाह है, इसलिए मूल्य यह निर्धारित करता है कि आउटपुट में कितनी गति है।
स्थिति पर अधिक शोर एंकर को ढीला कर देता है, इसलिए वीडियो इनपुट से आगे चला जाता है: अधिक गति, अधिक बहाव।
एक एकल छवि में जो छिपा है उसके बारे में कुछ भी नहीं है, और मॉडल 3डी दृश्य का पुनर्निर्माण नहीं करता है, इसलिए यह अनुमान लगाता है।
प्रत्येक खंड विरासत में मिलता है और पिछले खंड की खामियों को जोड़ता है, इसलिए बार-बार होने वाले विस्तारों पर बहाव बढ़ता है।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
एआई वीडियो जेनरेशन में कैमरा नियंत्रण
विजुअल एआई