राज्य अंतरिक्ष मॉडल और मांबा प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. मानक आत्म-ध्यान की तुलना में एक राज्य अंतरिक्ष मॉडल अनुक्रम लंबाई के साथ कैसे मापता है?
   • रैखिक, बनाम ध्यान की द्विघात स्केलिंग
   • द्विघात रूप से, बनाम ध्यान की रैखिक स्केलिंग
   • दोनों पैमाने समान हैं
   • दोनों के लिए तेजी से
2. वह केंद्रीय नवाचार क्या है जिसे माम्बा ने S4 जैसे पूर्व संरचित SSM में जोड़ा है?
   • आंतरिक रूप से सॉफ्टमैक्स ध्यान का उपयोग करना
   • राज्य-अद्यतन पैरामीटर बनाना इनपुट (चयनात्मकता) पर निर्भर करता है
   • छिपी हुई स्थिति को पूरी तरह से हटाना
   • द्विघात-समय गणना पर स्विच करना
3. मांबा को कस्टम हार्डवेयर-अवेयर पैरेलल स्कैन की आवश्यकता क्यों पड़ी?
   • क्योंकि GPUs मैट्रिक्स गुणन नहीं कर सकते
   • परतों की संख्या कम करने के लिए
   • क्योंकि पैरामीटर को इनपुट-निर्भर बनाने से सरल कनवल्शन ट्रिक टूट जाती है
   • क्योंकि यह किसी सीखे हुए पैरामीटर का उपयोग नहीं करता है
4. अनुमान के दौरान, माम्बा जैसे एसएसएम का एक प्रमुख दक्षता लाभ यह है कि यह उपयोग करता है:
   • मेमोरी जो पूर्ण अनुक्रम लंबाई के साथ बढ़ती है, केवी कैश की तरह
   • कोई स्मृति ही नहीं
   • समान आकार के ट्रांसफार्मर से अधिक मेमोरी
   • प्रति उत्पन्न टोकन लगभग स्थिर स्मृति
5. क्लासिक संरचित एसएसएम (चयनात्मकता से पहले) में, पुनरावृत्ति की गणना कुशलता से की जा सकती है क्योंकि इसे इस प्रकार फिर से लिखा जा सकता है:
   • लंबा कनवल्शन
   • सॉफ्टमैक्स ऑपरेशन
   • निर्णय वृक्ष
   • बेतरतीब जंगल
6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
   • ImageNet-1K
   • ढेर
   • LibriSpeech only
   • D4RL
7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
   • A nearest-neighbor lookup over audio frames
   • A cross-attention layer over image patches
   • An elementwise multiplicative interaction with a gated branch
   • A graph-degree normalization step
8. What language-modeling result does the Mamba paper report for its 3B model?
   • It requires a Transformer cache twice as large
   • It replaces the training corpus with audio only
   • It can be trained without any data
   • It matches Transformers twice its size in pretraining and downstream evaluation