फ़्लैश ध्यान प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. फ्लैश अटेंशन द्वारा लक्षित मुख्य बाधा क्या है?
   • GPU मेमोरी को धीमा करने के लिए बड़े ध्यान मैट्रिक्स को पढ़ना और लिखना
   • ध्यान में फ़्लोटिंग-पॉइंट गुणन की संख्या
   • डिस्क से मॉडल भार लोड करने की लागत
   • अनेक GPU के बीच नेटवर्क विलंबता
2. फ्लैश अटेंशन पूर्ण एन-बाय-एन अटेंशन मैट्रिक्स को संग्रहीत करने से कैसे बचता है?
   • यह यादृच्छिक अनुमानों के साथ ध्यान का अनुमान लगाता है
   • यह छोटी टाइलों में प्रश्नों, कुंजियों और मानों को संसाधित करता है और आंशिक परिणामों को जोड़ता है
   • यह अधिकांश टोकन जोड़ियों को पूरी तरह से छोड़ देता है
   • यह परिमाणीकरण के साथ मैट्रिक्स को संपीड़ित करता है
3. कौन सी तकनीक फ्लैश अटेंशन को पूरी पंक्ति को एक साथ देखे बिना सॉफ्टमैक्स की सही गणना करने देती है?
   • घातांक की एक पूर्व-गणना की गई लुकअप तालिका
   • सॉफ्टमैक्स को हटाना और एक रैखिक सन्निकटन का उपयोग करना
   • एक रनिंग (ऑनलाइन) सॉफ्टमैक्स जो रनिंग मैक्स और सम को ट्रैक करता है
   • सामान्यीकरण से पहले स्कोर को क्रमबद्ध करना
4. मानक ध्यान की तुलना में, फ्लैश अटेंशन का आउटपुट है:
   • एक मोटा अनुमान जो गति के लिए सटीकता का व्यापार करता है
   • उच्च परिशुद्धता के कारण अधिक सटीक
   • केवल छोटे अनुक्रमों के लिए मान्य है
   • गणितीय रूप से समान, बस अधिक कुशलता से गणना की गई
5. फ्लैश अटेंशन लंबे अनुक्रमों में सबसे अधिक मदद क्यों करता है?
   • क्योंकि अनुक्रम लंबाई के साथ ध्यान स्मृति चतुष्कोणीय रूप से बढ़ती है
   • क्योंकि लंबे अनुक्रमों के लिए कम परतों की आवश्यकता होती है
   • क्योंकि लंबे इनपुट के लिए सॉफ्टमैक्स अनावश्यक हो जाता है
   • क्योंकि छोटे अनुक्रमों पर GPU धीमी गति से चलते हैं
6. फ़्लैश अटेंशन का 'आईओ-अवेयर' डिज़ाइन किस चीज़ को न्यूनतम करने को प्राथमिकता देता है?
   • मॉडल पैरामीटरों की संख्या
   • मेमोरी SRAM और HBM के बीच पढ़ती और लिखती है
   • तंत्रिका नेटवर्क की गहराई
   • टोकननाइज़र की शब्दावली का आकार
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation