गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

विरल ध्यान पैटर्न प्रश्नोत्तरी

स्थानीय, विस्तारित, यादृच्छिक और वैश्विक विरल ध्यान कनेक्शन की तुलना करें और कैसे अनुकूलित कर्नेल लंबे-इनपुट प्रसंस्करण में अप्रयुक्त प्रविष्टियों को छोड़ देते हैं।

संबंधित मार्गदर्शक पथविरल ध्यान पैटर्न

प्रश्न 1 का 8

लंबे दृश्यों पर पूर्ण आत्म-ध्यान महंगा क्यों है?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

लंबे दृश्यों पर पूर्ण आत्म-ध्यान महंगा क्यों है?
- इसकी लागत अनुक्रम लंबाई के वर्ग के साथ बढ़ती है
- यह GPU का उपयोग नहीं कर सकता
- यह केवल छोटे शब्दों पर काम करता है
- इसके लिए किसी मेमोरी की बिल्कुल भी आवश्यकता नहीं है
स्लाइडिंग-विंडो (स्थानीय) ध्यान क्या है?
- प्रत्येक टोकन एक यादृच्छिक डेटाबेस में शामिल होता है
- प्रत्येक टोकन केवल अपने आस-पास के पड़ोसियों तक ही सीमित रहता है
- टोकन कभी भी किसी चीज़ पर ध्यान नहीं देते
- प्रत्येक टोकन सभी टोकन पर दो बार ध्यान देता है
विरल ध्यान में 'वैश्विक टोकन' का उद्देश्य क्या है?
- मॉडल को धीमा करने के लिए
- छवियों को संग्रहीत करने के लिए
- ऐसे केंद्र के रूप में कार्य करना जो हर चीज़ पर ध्यान देता है और जिसका सब कुछ ध्यान रखता है
- शब्दावली को बदलने के लिए
किस मॉडल ने साबित किया कि यादृच्छिक, खिड़की और वैश्विक ध्यान का संयोजन पूर्ण-ध्यान की अभिव्यक्ति को बनाए रखता है?
- रेसनेट
- Word2Vec
- एलेक्सनेट
- बिगबर्ड
मोटे तौर पर अच्छी तरह से डिज़ाइन किए गए विरल ध्यान में कनेक्शन की संख्या कैसे मापी जाती है?
- अनुक्रम लंबाई के साथ मोटे तौर पर रैखिक रूप से
- अनुक्रम लंबाई के साथ द्विघात
- यह लंबाई पर निर्भर नहीं करता
- अनुक्रम लंबाई के साथ घातीय रूप से
What do strided or dilated sparse-attention patterns allow?
- उनकी गणना करता है और फिर उन्हें शून्य पर सेट करता है
- Skip ahead to reach distant context with fewer attention links
- उन्हें दूसरे सर्वर पर भेजता है
- उन्हें स्थायी रूप से संग्रहीत करता है
How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query