ब्लॉक-विरल और मूल विरल ध्यान प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. लंबे अनुक्रमों के लिए मानक आत्म-ध्यान महंगा क्यों है?
   • इसकी लागत अनुक्रम लंबाई के साथ चतुष्कोणीय रूप से बढ़ती है
   • यह बहुत कम पैरामीटर का उपयोग करता है
   • यह GPU पर नहीं चल सकता
   • यह केवल पहले टोकन पर ध्यान देता है
2. ब्लॉक-विरल ध्यान का मूल विचार क्या है?
   • फ़ीड-फ़ॉरवर्ड परतें हटाना
   • केवल टोकन के चयनित ब्लॉकों के बीच ध्यान की गणना करना
   • केवल एक ध्यान शीर्ष का उपयोग करना
   • एम्बेडिंग आयाम को दोगुना करना
3. क्या नेटिव स्पार्स अटेंशन (एनएसए) को पहले के कई स्पार्स तरीकों से अलग बनाता है?
   • यह ध्यान को पूरी तरह से हटा देता है
   • यह केवल अनुमान के दौरान ही काम करता है
   • यह शुरू से अंत तक प्रशिक्षण योग्य और हार्डवेयर-संरेखित है
   • इसके लिए किसी GPU की आवश्यकता नहीं है
4. एनएसए अपनी कुंजियों और मूल्यों के लिए किन तीन शाखाओं को संयोजित करता है?
   • एनकोडर, डिकोडर और एम्बेडिंग
   • ड्रॉपआउट, सामान्यीकरण और पूलिंग
   • परिमाणीकरण, छंटाई और आसवन
   • संपीड़न, चयन, और एक स्लाइडिंग विंडो
5. एनएसए मनमाने ढंग से टोकन-स्तरीय विरलता के बजाय ब्लॉक-स्तरीय संचालन का उपयोग क्यों करता है?
   • वास्तविक स्पीडअप के लिए जीपीयू मेमोरी एक्सेस और टेंसर-कोर थ्रूपुट के साथ संरेखित करना
   • मॉडल को बड़ा बनाने के लिए
   • ध्यान का उपयोग करने से बिल्कुल भी बचें
   • परतों की संख्या कम करने के लिए
6. ऑटोरेग्रेसिव डिकोडिंग के दौरान, विरल ध्यान विशेष रूप से सहायक होता है क्योंकि वह चरण अक्सर होता है:
   • मैट्रिक्स गुणन पर गणना-बाउंड
   • मेमोरी-बाउंड, इसलिए अटेंड किए गए टोकन को कम करने से इसकी गति बढ़ जाती है
   • अनुक्रम लंबाई से स्वतंत्र
   • केवल सीपीयू पर चलाएं
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations