विज़ुअल एआई गाइड
मेक-ए-वीडियो टेक्स्ट-टू-वीडियो
मेक-ए-वीडियो Meta का 2022 सिस्टम है जो लेबल किए गए टेक्स्ट-वीडियो जोड़े पर प्रशिक्षण के बिना टेक्स्ट प्रॉम्प्ट को एक छोटी वीडियो क्लिप में बदल देता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
गहरा गोता
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
वास्तविक विश्व कार्यान्वयन
सोशल मीडिया पोस्ट के लिए एक वर्णनात्मक वाक्य को एक छोटी लूपिंग क्लिप में एनिमेट करना
'एक टेडी बियर एक चित्र बनाता है' जैसी स्थिर अवधारणा को एक गतिशील चित्रण के रूप में जीवंत करना
एक सहज संक्रमण वीडियो बनाने के लिए उपयोगकर्ता द्वारा प्रदत्त दो स्थिर छवियों के बीच इंटरपोलेशन करना
किसी भी फिल्मांकन से पहले स्टोरीबोर्डिंग के लिए कल्पित दृश्यों के त्वरित गति ड्राफ्ट तैयार करना
मेक-ए-वीडियो टेक्स्ट-टू-वीडियो का भविष्य
मेक-ए-वीडियो की छवि-पूर्व-प्लस-अनलेबल-मोशन रेसिपी ने संपूर्ण टेक्स्ट-टू-वीडियो तरंग को बीज दिया। इसके वंशज नियंत्रणीय कैमरा गति और ऑडियो के साथ लंबे, उच्च-रिज़ॉल्यूशन, अस्थायी रूप से स्थिर क्लिप पर जोर देते हैं। मूल विचार की अपेक्षा करें, बड़े पैमाने पर छवि ज्ञान का पुन: उपयोग करना और सस्ते में सीखने की गति, तब भी बनी रहेगी जब आर्किटेक्चर ट्रांसफॉर्मर-आधारित अव्यक्त प्रसार और एकीकृत मॉडल की ओर स्थानांतरित हो जाते हैं जो संपादन और निरंतरता के लिए छवि या वीडियो कंडीशनिंग को भी स्वीकार करते हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।
- विकल्प बनाएं. रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।
- टीम और वर्कफ़्लो. संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।
का ध्यान रखें
- यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।
- मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।
- जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।
अगले चरण
- सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।
- वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।
- कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।
- कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Make-A-Video Text-to-Video quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Make-A-Video Text-to-Video?
मेक-ए-वीडियो Meta का 2022 सिस्टम है जो लेबल किए गए टेक्स्ट-वीडियो जोड़े पर प्रशिक्षण के बिना टेक्स्ट प्रॉम्प्ट को एक छोटी वीडियो क्लिप में बदल देता है। यह मायने रखता है क्योंकि इससे पता चला कि टेक्स्ट-टू-इमेज मॉडल के अंदर दृश्य ज्ञान को केवल बिना लेबल वाले वीडियो का उपयोग करके स्थानांतरित करना 'सिखाया' जा सकता है।
वह केंद्रीय नवाचार क्या था जिसने मेक-ए-वीडियो को लेबल किए गए टेक्स्ट-वीडियो जोड़े की आवश्यकता से बचने दिया?
मेक-ए-वीडियो समस्या को कम करता है: एक टेक्स्ट-टू-इमेज मॉडल सीखता है कि कैप्शन वाली छवियों से चीजें कैसी दिखती हैं, जबकि अलग-अलग अस्थायी परतें कच्चे, बिना लेबल वाले वीडियो से गति सीखती हैं।
मेक-ए-वीडियो किसी छवि मॉडल में गति क्षमता कैसे जोड़ता है?
यह नई अस्थायी परतों के साथ 2डी स्थानिक संकल्प और ध्यान का विस्तार करता है जो सीखता है कि समय के साथ सामग्री कैसे बदलती है।
फ़्रेम-इंटरपोलेशन और सुपर-रिज़ॉल्यूशन चरण क्या करते हैं?
मोटे लो-रेजोल्यूशन, लो-फ्रेम-रेट ड्राफ्ट के बाद, इंटरपोलेशन फ्रेम जोड़ता है और सुपर-रिज़ॉल्यूशन मॉड्यूल रिज़ॉल्यूशन बढ़ाता है।
मेक-ए-वीडियो के आउटपुट की एक विशिष्ट सीमा क्या थी?
क्लिप केवल कुछ सेकंड की थीं, अपेक्षाकृत कम रिज़ॉल्यूशन वाली थीं, और अस्थायी झिलमिलाहट और विरूपण की संभावना थी।
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं