आगेअगली गाइड
सिफारिश प्रणाली का मूल्यांकन: NDCG, हिट रेट और अधिक
तकनीकी
तकनीकी गाइड
VBench टेक्स्ट-टू-वीडियो मॉडल के लिए एक बेंचमार्क सुइट है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
यह वीडियो की गुणवत्ता को 16 अलग-अलग आयामों में विभाजित करता है, जैसे विषय की स्थिरता, गति की सहजता, गतिशील डिग्री और सौंदर्य की गुणवत्ता, और प्रत्येक को एक समर्पित स्वचालित मूल्यांकनकर्ता के साथ स्कोर करता है। यह मायने रखता है क्योंकि एक एकल संख्या यह नहीं दिखा सकती है कि कोई वीडियो तेज, सुचारू, अपने संकेत के प्रति वफादार और वास्तव में चलने वाला है या नहीं, और VBench उन ट्रेड-ऑफ को दृश्यमान बनाता है।
वीबेंच को 2023 के अंत में नानयांग टेक्नोलॉजिकल यूनिवर्सिटी के एस-लैब और शंघाई एआई प्रयोगशाला के शोधकर्ताओं द्वारा पेश किया गया था, और CVPR 2024 में प्रस्तुत किया गया था। इसका मूल विचार अपघटन है। एफवीडी (फ्रेचेट वीडियो डिस्टेंस) जैसे एक स्कोर के बजाय, यह दो परिवारों में समूहीकृत 16 आयामों को मापता है। वीडियो की गुणवत्ता के आयाम, संकेत की परवाह किए बिना, क्लिप को ही आंकते हैं: विषय की स्थिरता, पृष्ठभूमि की स्थिरता, अस्थायी झिलमिलाहट, गति की चिकनाई, गतिशील डिग्री, सौंदर्य की गुणवत्ता और इमेजिंग गुणवत्ता। वीडियो-स्थिति स्थिरता आयाम यह निर्धारित करते हैं कि वीडियो अपने संकेत का कितनी अच्छी तरह पालन करता है: वस्तु वर्ग, एकाधिक वस्तुएं, मानव क्रिया, रंग, स्थानिक संबंध, दृश्य, उपस्थिति शैली, अस्थायी शैली और समग्र स्थिरता। प्रत्येक आयाम का अपना प्रॉम्प्ट सूट और एक विशेष मूल्यांकनकर्ता होता है, आमतौर पर एक मौजूदा विज़न मॉडल। विषय संगति सभी फ़्रेमों में DINO सुविधाओं की तुलना करती है। पृष्ठभूमि संगति CLIP सुविधाओं का उपयोग करती है। गतिशील डिग्री ऑप्टिकल प्रवाह का उपयोग करती है। सौंदर्य संबंधी और इमेजिंग गुणवत्ता सीखे गए गुणवत्ता भविष्यवक्ताओं का उपयोग करती है, और वस्तु और रंग जांच पहचान या कैप्शनिंग मॉडल का उपयोग करती है। लेखकों ने प्रत्येक आयाम के लिए मानवीय प्राथमिकता टिप्पणियाँ एकत्र कीं और बताया कि स्वचालित स्कोर उनके साथ अच्छी तरह मेल खाते हैं। ब्रेकडाउन उन व्यापार-बंदों को उजागर करता है जिन्हें कुल मिलाकर छुपाया जाता है। एक लगभग जमे हुए वीडियो स्थिरता और सहजता पर बहुत अच्छा स्कोर कर सकता है जबकि गतिशील डिग्री पर खराब स्कोर कर सकता है, इसलिए केवल औसत पढ़ने से डरपोक मॉडल को पुरस्कृत किया जा सकता है। VBench कुल वीडियो मॉडल की संपूर्ण रैंकिंग नहीं है; यह चुने गए संकेतों, मूल्यांकनकर्ताओं और भार को दर्शाता है। बाद में काम ने सुइट का विस्तार किया। VBench++ ने छवि-से-वीडियो और भरोसेमंदता मूल्यांकन जोड़ा, और VBench-2.0 भौतिकी, सामान्य ज्ञान और मानव शरीर रचना विज्ञान जैसे गहन गुणों को लक्षित करता है। सार्वजनिक क्षेत्र, जहां लोग एक ही प्रॉम्प्ट से दो गुमनाम क्लिप के बीच वोट करते हैं, समग्र प्राथमिकता हासिल करते हैं, जिसमें भौतिक रूप से प्रशंसनीय गति जैसे गुण भी शामिल हैं जिन्हें स्वचालित मूल्यांकनकर्ता अभी तक विश्वसनीय रूप से माप नहीं पाते हैं।
एक खुला वीडियो मॉडल जारी करने वाली प्रयोगशाला अपने VBench कुल और प्रति-आयाम टूटने की रिपोर्ट करती है। विश्लेषण से पता चलता है कि यह इमेजिंग गुणवत्ता में आगे है लेकिन गतिशील डिग्री में पीछे है।
एक डेवलपर दो सैंपलर सेटिंग्स की तुलना करता है और पाता है कि कम चरणों का उपयोग करने से गति की सहजता और अस्थायी झिलमिलाहट स्कोर कम हो जाता है। यह गति और गुणवत्ता के बीच उनकी पसंद का मार्गदर्शन करता है।
वीडियो एपीआई को शॉर्टलिस्ट करने वाली एक उत्पाद टीम सार्वजनिक मानव-वोट क्षेत्र के परिणामों के साथ वीबेंच नंबरों को जोड़ती है, क्योंकि उनके उपयोगकर्ता यथार्थवादी भौतिकी और लोगों के बारे में सबसे अधिक परवाह करते हैं।
एक शोधकर्ता देखता है कि एक मॉडल लगभग स्थिर क्लिप बनाते समय विषय और पृष्ठभूमि स्थिरता पर बहुत अधिक स्कोर कर रहा है। वे इसकी पुष्टि करने के लिए गतिशील डिग्री आयाम की जांच करते हैं।
वीडियो मूल्यांकन सतह की गुणवत्ता से हटकर इस ओर बढ़ रहा है कि क्या उत्पन्न दुनिया व्यावहारिक रूप से व्यवहार करती है: वस्तुएं जो ठोस रहती हैं, गुरुत्वाकर्षण जो काम करता है और हाथ जो उंगलियों की सही संख्या रखते हैं। VBench-2.0 और भौतिकी-केंद्रित परीक्षण सेट जैसे बेंचमार्क का उद्देश्य अक्सर मल्टीमॉडल भाषा मॉडल को न्यायाधीशों के रूप में उपयोग करना होता है, जो नए सवाल उठाता है कि वे न्यायाधीश कितने विश्वसनीय हैं। लंबी क्लिप, ऑडियो और कैमरा नियंत्रण के लिए भी मेट्रिक्स की आवश्यकता होती है जो वर्तमान सुइट्स केवल आंशिक रूप से कवर करते हैं। मानव क्षेत्र संभवतः महत्वपूर्ण बने रहेंगे क्योंकि वे समग्र प्राथमिकता पर कब्जा करते हैं, लेकिन वे महंगे हैं, प्रस्तुति के प्रति संवेदनशील हैं और पुन: पेश करने में कठिन हैं, इसलिए क्षेत्र में दोनों दृष्टिकोणों का उपयोग जारी रखने की संभावना है।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
VBench टेक्स्ट-टू-वीडियो मॉडल के लिए एक बेंचमार्क सुइट है। यह वीडियो की गुणवत्ता को 16 अलग-अलग आयामों में विभाजित करता है, जैसे विषय की स्थिरता, गति की सहजता, गतिशील डिग्री और सौंदर्य की गुणवत्ता, और प्रत्येक को एक समर्पित स्वचालित मूल्यांकनकर्ता के साथ स्कोर करता है। यह मायने रखता है क्योंकि एक एकल संख्या यह नहीं दिखा सकती है कि कोई वीडियो तेज, सुचारू, अपने संकेत के प्रति वफादार और वास्तव में चलने वाला है या नहीं, और VBench उन ट्रेड-ऑफ को दृश्यमान बनाता है।
VBench वीडियो निर्माण गुणवत्ता को 16 आयामों में विभाजित करता है, जिन्हें वीडियो गुणवत्ता और वीडियो-स्थिति स्थिरता में समूहीकृत किया जाता है।
किसी वीडियो में कितनी गति है, यह मापने के लिए डायनामिक डिग्री ऑप्टिकल प्रवाह का उपयोग करती है। एक फ्रोजन क्लिप का स्कोर यहां कम है, भले ही वह स्थिरता पर उच्च स्कोर करता हो।
विषय संगतता यह जांचने के लिए कि यह समान स्वरूप रखता है, फ़्रेम में विषय की DINO विशेषताओं की तुलना करती है।
वीडियो गुणवत्ता आयाम संकेत की परवाह किए बिना क्लिप का मूल्यांकन करते हैं, जबकि वीडियो-स्थिति स्थिरता आयाम यह निर्धारित करते हैं कि वीडियो अपने संकेत का कितनी अच्छी तरह पालन करता है।
कुल औसत आयाम जो एक दूसरे के विपरीत व्यापार करते हैं। उच्च स्थिरता कम गति को छिपा सकती है, इसलिए प्रति-आयाम परिणाम मायने रखते हैं।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
सिफारिश प्रणाली का मूल्यांकन: NDCG, हिट रेट और अधिक
तकनीकी