फ़्लैशअटेंशन क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. मानक ध्यान में मुख्य बाधा फ़्लैशअटेंशन लक्ष्य क्या है?
   • GPU मेमोरी को धीमा करने के लिए बड़े ध्यान मैट्रिक्स को पढ़ना और लिखना
   • फ़्लोटिंग-पॉइंट गुणन की संख्या
   • इनपुट टेक्स्ट को टोकनाइज़ करने की लागत
   • GPU के बीच नेटवर्क विलंबता
2. फ्लैशअटेंशन का आउटपुट मानक ध्यान से तुलना कैसे करता है?
   • यह एक अनुमान है जो गति के लिए सटीकता का व्यापार करता है
   • यह गणितीय रूप से समान (सटीक) है
   • यह केवल छोटे अनुक्रमों के लिए काम करता है
   • यह मॉडल का वजन बदल देता है
3. टाइल्स में डेटा प्रोसेस करके फ्लैशअटेंशन किस जीपीयू मेमोरी का उपयोग करता है?
   • बड़ी लेकिन धीमी हाई-बैंडविड्थ मेमोरी (HBM)
   • सीपीयू की रैम
   • छोटा लेकिन बहुत तेज़ ऑन-चिप SRAM
   • डिस्क भंडारण
4. कौन सी तकनीक फ्लैशअटेंशन को सभी स्कोर एक साथ देखे बिना सॉफ्टमैक्स की गणना करने देती है?
   • सॉफ्टमैक्स को पूरी तरह से छोड़ देना
   • सभी अंकों को शून्य पर पूर्णांकित करना
   • सीपीयू पर सॉफ्टमैक्स प्रीकंप्यूटिंग
   • रनिंग रीस्केलिंग के साथ ऑनलाइन (वृद्धिशील) सॉफ्टमैक्स
5. क्योंकि पूर्ण ध्यान मैट्रिक्स एचबीएम में कभी संग्रहीत नहीं होता है, मेमोरी उपयोग का पैमाना मोटे तौर पर होता है:
   • अनुक्रम लंबाई के साथ रैखिक
   • अनुक्रम लंबाई के साथ द्विघात
   • अनुक्रम लंबाई के साथ घातीय रूप से
   • अनुक्रम लंबाई से स्वतंत्र
6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
   • Only 64-bit floating point
   • FP8, with techniques to manage its numerical error
   • Integer text tokens
   • No reduced-precision format
7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
   • It stores the complete attention matrix in HBM
   • It replaces attention with convolution
   • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
   • It uses only CPU execution
8. In FlashAttention-3, what lets data movement overlap with computation?
   • Replacing attention with a lookup table
   • Computing all scores in host memory
   • Disabling the softmax step
   • Asynchronous execution on Hopper hardware