मल्टी-हेड अव्यक्त ध्यान प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. मल्टी-हेड लेटेंट अटेंशन किस प्राथमिक समस्या को कम करने के लिए डिज़ाइन किया गया है?
   • अनुमान के दौरान कुंजी-मूल्य कैश की मेमोरी लागत
   • प्रशिक्षण डेटा की कमी
   • मॉडल पैरामीटरों की संख्या
   • टोकनाइज़र शब्दावली का आकार
2. एमएलए केवी कैश को कैसे सिकोड़ता है?
   • यह कैश से पुराने टोकन हटा देता है
   • यह पूर्ण प्रति-सिर कुंजी और मानों के बजाय एक छोटे निम्न-रैंक अव्यक्त वेक्टर को संग्रहीत करता है
   • यह हर चीज़ के लिए 1-बिट वज़न का उपयोग करता है
   • यह कुछ टोकन पर पूरी तरह से ध्यान केंद्रित करता है
3. किस मॉडल ने सबसे पहले मल्टी-हेड लेटेंट अटेंशन पेश किया?
   • जीपीटी-2
   • बर्ट
   • डीपसीक-V2
   • एलएलएएमए 1
4. रोटरी स्थिति एम्बेडिंग के लिए एमएलए को एक अलग 'डिकॉउल्ड' पथ की आवश्यकता क्यों है?
   • क्योंकि ध्यान के लिए पद अप्रासंगिक हैं
   • क्योंकि RoPE शब्दावली को दोगुना कर देता है
   • क्योंकि यह ऑप्टिमाइज़र को गति देता है
   • क्योंकि रोटेशन को बाकी कुंजी की तरह अवशोषित अप-प्रोजेक्शन में मोड़ा नहीं जा सकता है
5. एमएलए बनाम मानक मल्टी-हेड अटेंशन से डीपसीक-वी2 की रिपोर्ट में केवी-कैश मेमोरी में लगभग कितनी कमी आई?
   • 90% से अधिक
   • लगभग 5%
   • बिल्कुल 50%
   • कोई कमी नहीं, केवल गति बढ़ी
6. एमएलए के छोटे प्रति-टोकन कैश से सीधे तौर पर क्या व्यावहारिक लाभ होता है?
   • किसी भी GPU की आवश्यकता का उन्मूलन
   • एक ही हार्डवेयर पर बड़े अनुमान बैच आकार और लंबे संदर्भ
   • सभी भाषाओं में स्वचालित अनुवाद
   • सॉफ्टमैक्स ऑपरेशन को हटाना
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections