रैखिक ध्यान और कलाकार कर्नेल प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. मानक सॉफ्टमैक्स ध्यान अनुक्रम लंबाई के साथ खराब क्यों होता है?
   • इसका समय और स्मृति अनुक्रम लंबाई के वर्ग के साथ बढ़ती है
   • इसमें सभी टोकन को वर्णानुक्रम में क्रमबद्ध करने की आवश्यकता है
   • यह एक समय में केवल एक टोकन संसाधित कर सकता है
   • इसे प्रति टोकन एक अलग तंत्रिका नेटवर्क की आवश्यकता होती है
2. कौन सा गणितीय गुण रैखिक ध्यान को n-by-n मैट्रिक्स से बचने देता है?
   • जोड़ की क्रमविनिमेयता
   • मैट्रिक्स गुणन की संबद्धता
   • सॉफ्टमैक्स का वितरणात्मक नियम
   • आइजेनवैल्यू अपघटन
3. कलाकार का FAVOR+ तंत्र किसका अनुमान लगाता है?
   • ग्रेडिएंट डिसेंट अपडेट
   • टोकनाइज़र शब्दावली
   • सॉफ्टमैक्स अटेंशन कर्नेल
   • परत सामान्यीकरण आँकड़े
4. कलाकार पहले की त्रिकोणमितीय सुविधाओं के बजाय सकारात्मक यादृच्छिक सुविधाओं का उपयोग क्यों करता है?
   • ये CPU पर ही तेज़ चलते हैं
   • वे किसी भी यादृच्छिकता की आवश्यकता को समाप्त कर देते हैं
   • वे मॉडल को पूरी तरह व्याख्या योग्य बनाते हैं
   • वे गैर-नकारात्मक ध्यान भार की गारंटी देते हैं और संख्यात्मक स्थिरता में सुधार करते हैं
5. अनुक्रम लंबाई n में कलाकार-शैली रैखिक ध्यान की अनुमानित जटिलता क्या है?
   • ओ(एन)
   • ओ(एन^2)
   • ओ(एन लॉग एन)
   • ओ(2^एन)
6. पूर्ण सॉफ्टमैक्स ध्यान की तुलना में शुद्ध रैखिक ध्यान की सामान्य सीमा क्या है?
   • यह GPU पर नहीं चल सकता
   • यह अक्सर थोड़ी कम मॉडलिंग गुणवत्ता प्राप्त करता है
   • यह केवल छवियों के लिए काम करता है
   • इसमें प्रत्येक टोकन के लिए लेबल किए गए डेटा की आवश्यकता होती है
7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
   • Compute QK^T and store every pairwise score
   • Apply softmax to the full n-by-n matrix first
   • Compute phi(K)^T V before multiplying by phi(Q)
   • Multiply the final output by the sequence length
8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
   • It guarantees exact softmax for every sequence
   • It removes the need for query and key vectors
   • It makes attention quadratic in sequence length
   • It reduces variance in the random-feature estimate