तकनीकी गाइड

वीबेंच के साथ एआई वीडियो जेनरेटर का मूल्यांकन

VBench टेक्स्ट-टू-वीडियो मॉडल के लिए एक बेंचमार्क सुइट है।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर3 मिनट लाल
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. वीबेंच के साथ एआई वीडियो जेनरेटर के मूल्यांकन का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

यह वीडियो की गुणवत्ता को 16 अलग-अलग आयामों में विभाजित करता है, जैसे विषय की स्थिरता, गति की सहजता, गतिशील डिग्री और सौंदर्य की गुणवत्ता, और प्रत्येक को एक समर्पित स्वचालित मूल्यांकनकर्ता के साथ स्कोर करता है। यह मायने रखता है क्योंकि एक एकल संख्या यह नहीं दिखा सकती है कि कोई वीडियो तेज, सुचारू, अपने संकेत के प्रति वफादार और वास्तव में चलने वाला है या नहीं, और VBench उन ट्रेड-ऑफ को दृश्यमान बनाता है।

गहरा गोता

वीबेंच को 2023 के अंत में नानयांग टेक्नोलॉजिकल यूनिवर्सिटी के एस-लैब और शंघाई एआई प्रयोगशाला के शोधकर्ताओं द्वारा पेश किया गया था, और CVPR 2024 में प्रस्तुत किया गया था। इसका मूल विचार अपघटन है। एफवीडी (फ्रेचेट वीडियो डिस्टेंस) जैसे एक स्कोर के बजाय, यह दो परिवारों में समूहीकृत 16 आयामों को मापता है। वीडियो की गुणवत्ता के आयाम, संकेत की परवाह किए बिना, क्लिप को ही आंकते हैं: विषय की स्थिरता, पृष्ठभूमि की स्थिरता, अस्थायी झिलमिलाहट, गति की चिकनाई, गतिशील डिग्री, सौंदर्य की गुणवत्ता और इमेजिंग गुणवत्ता। वीडियो-स्थिति स्थिरता आयाम यह निर्धारित करते हैं कि वीडियो अपने संकेत का कितनी अच्छी तरह पालन करता है: वस्तु वर्ग, एकाधिक वस्तुएं, मानव क्रिया, रंग, स्थानिक संबंध, दृश्य, उपस्थिति शैली, अस्थायी शैली और समग्र स्थिरता। प्रत्येक आयाम का अपना प्रॉम्प्ट सूट और एक विशेष मूल्यांकनकर्ता होता है, आमतौर पर एक मौजूदा विज़न मॉडल। विषय संगति सभी फ़्रेमों में DINO सुविधाओं की तुलना करती है। पृष्ठभूमि संगति CLIP सुविधाओं का उपयोग करती है। गतिशील डिग्री ऑप्टिकल प्रवाह का उपयोग करती है। सौंदर्य संबंधी और इमेजिंग गुणवत्ता सीखे गए गुणवत्ता भविष्यवक्ताओं का उपयोग करती है, और वस्तु और रंग जांच पहचान या कैप्शनिंग मॉडल का उपयोग करती है। लेखकों ने प्रत्येक आयाम के लिए मानवीय प्राथमिकता टिप्पणियाँ एकत्र कीं और बताया कि स्वचालित स्कोर उनके साथ अच्छी तरह मेल खाते हैं। ब्रेकडाउन उन व्यापार-बंदों को उजागर करता है जिन्हें कुल मिलाकर छुपाया जाता है। एक लगभग जमे हुए वीडियो स्थिरता और सहजता पर बहुत अच्छा स्कोर कर सकता है जबकि गतिशील डिग्री पर खराब स्कोर कर सकता है, इसलिए केवल औसत पढ़ने से डरपोक मॉडल को पुरस्कृत किया जा सकता है। VBench कुल वीडियो मॉडल की संपूर्ण रैंकिंग नहीं है; यह चुने गए संकेतों, मूल्यांकनकर्ताओं और भार को दर्शाता है। बाद में काम ने सुइट का विस्तार किया। VBench++ ने छवि-से-वीडियो और भरोसेमंदता मूल्यांकन जोड़ा, और VBench-2.0 भौतिकी, सामान्य ज्ञान और मानव शरीर रचना विज्ञान जैसे गहन गुणों को लक्षित करता है। सार्वजनिक क्षेत्र, जहां लोग एक ही प्रॉम्प्ट से दो गुमनाम क्लिप के बीच वोट करते हैं, समग्र प्राथमिकता हासिल करते हैं, जिसमें भौतिक रूप से प्रशंसनीय गति जैसे गुण भी शामिल हैं जिन्हें स्वचालित मूल्यांकनकर्ता अभी तक विश्वसनीय रूप से माप नहीं पाते हैं।

वास्तविक विश्व कार्यान्वयन

एक खुला वीडियो मॉडल जारी करने वाली प्रयोगशाला अपने VBench कुल और प्रति-आयाम टूटने की रिपोर्ट करती है। विश्लेषण से पता चलता है कि यह इमेजिंग गुणवत्ता में आगे है लेकिन गतिशील डिग्री में पीछे है।

एक डेवलपर दो सैंपलर सेटिंग्स की तुलना करता है और पाता है कि कम चरणों का उपयोग करने से गति की सहजता और अस्थायी झिलमिलाहट स्कोर कम हो जाता है। यह गति और गुणवत्ता के बीच उनकी पसंद का मार्गदर्शन करता है।

वीडियो एपीआई को शॉर्टलिस्ट करने वाली एक उत्पाद टीम सार्वजनिक मानव-वोट क्षेत्र के परिणामों के साथ वीबेंच नंबरों को जोड़ती है, क्योंकि उनके उपयोगकर्ता यथार्थवादी भौतिकी और लोगों के बारे में सबसे अधिक परवाह करते हैं।

एक शोधकर्ता देखता है कि एक मॉडल लगभग स्थिर क्लिप बनाते समय विषय और पृष्ठभूमि स्थिरता पर बहुत अधिक स्कोर कर रहा है। वे इसकी पुष्टि करने के लिए गतिशील डिग्री आयाम की जांच करते हैं।

वीबेंच के साथ एआई वीडियो जेनरेटर के मूल्यांकन का भविष्य

वीडियो मूल्यांकन सतह की गुणवत्ता से हटकर इस ओर बढ़ रहा है कि क्या उत्पन्न दुनिया व्यावहारिक रूप से व्यवहार करती है: वस्तुएं जो ठोस रहती हैं, गुरुत्वाकर्षण जो काम करता है और हाथ जो उंगलियों की सही संख्या रखते हैं। VBench-2.0 और भौतिकी-केंद्रित परीक्षण सेट जैसे बेंचमार्क का उद्देश्य अक्सर मल्टीमॉडल भाषा मॉडल को न्यायाधीशों के रूप में उपयोग करना होता है, जो नए सवाल उठाता है कि वे न्यायाधीश कितने विश्वसनीय हैं। लंबी क्लिप, ऑडियो और कैमरा नियंत्रण के लिए भी मेट्रिक्स की आवश्यकता होती है जो वर्तमान सुइट्स केवल आंशिक रूप से कवर करते हैं। मानव क्षेत्र संभवतः महत्वपूर्ण बने रहेंगे क्योंकि वे समग्र प्राथमिकता पर कब्जा करते हैं, लेकिन वे महंगे हैं, प्रस्तुति के प्रति संवेदनशील हैं और पुन: पेश करने में कठिन हैं, इसलिए क्षेत्र में दोनों दृष्टिकोणों का उपयोग जारी रखने की संभावना है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Evaluating AI Video Generators with VBench quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

VBench के साथ AI वीडियो जेनरेटर का मूल्यांकन क्या है?

VBench टेक्स्ट-टू-वीडियो मॉडल के लिए एक बेंचमार्क सुइट है। यह वीडियो की गुणवत्ता को 16 अलग-अलग आयामों में विभाजित करता है, जैसे विषय की स्थिरता, गति की सहजता, गतिशील डिग्री और सौंदर्य की गुणवत्ता, और प्रत्येक को एक समर्पित स्वचालित मूल्यांकनकर्ता के साथ स्कोर करता है। यह मायने रखता है क्योंकि एक एकल संख्या यह नहीं दिखा सकती है कि कोई वीडियो तेज, सुचारू, अपने संकेत के प्रति वफादार और वास्तव में चलने वाला है या नहीं, और VBench उन ट्रेड-ऑफ को दृश्यमान बनाता है।

मूल VBench कितने मूल्यांकन आयामों को परिभाषित करता है?

VBench वीडियो निर्माण गुणवत्ता को 16 आयामों में विभाजित करता है, जिन्हें वीडियो गुणवत्ता और वीडियो-स्थिति स्थिरता में समूहीकृत किया जाता है।

कौन सा आयाम यह प्रकट करेगा कि एक मॉडल लगभग स्थिर वीडियो बनाता है?

किसी वीडियो में कितनी गति है, यह मापने के लिए डायनामिक डिग्री ऑप्टिकल प्रवाह का उपयोग करती है। एक फ्रोजन क्लिप का स्कोर यहां कम है, भले ही वह स्थिरता पर उच्च स्कोर करता हो।

VBench सभी फ़्रेमों में विषय संगतता को मापने के लिए क्या उपयोग करता है?

विषय संगतता यह जांचने के लिए कि यह समान स्वरूप रखता है, फ़्रेम में विषय की DINO विशेषताओं की तुलना करती है।

कौन से दो परिवार VBench के आयामों को समूहित करते हैं?

वीडियो गुणवत्ता आयाम संकेत की परवाह किए बिना क्लिप का मूल्यांकन करते हैं, जबकि वीडियो-स्थिति स्थिरता आयाम यह निर्धारित करते हैं कि वीडियो अपने संकेत का कितनी अच्छी तरह पालन करता है।

केवल VBench का कुल स्कोर पढ़ना भ्रामक क्यों हो सकता है?

कुल औसत आयाम जो एक दूसरे के विपरीत व्यापार करते हैं। उच्च स्थिरता कम गति को छिपा सकती है, इसलिए प्रति-आयाम परिणाम मायने रखते हैं।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →