गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर
अनुक्रम समानता और रिंग ध्यान प्रश्नोत्तरी
रिंग अटेंशन ब्लॉक ट्रांसफर, ऑनलाइन सॉफ्टमैक्स और कारण लोड संतुलन का अभ्यास करें, जिसमें सभी डिवाइसों में संचार ओवरलैप की सीमाएं शामिल हैं।
प्रश्न 1 का 8
अनुक्रम समानता किस आयाम के साथ डेटा को विभाजित करती है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- अनुक्रम समानता किस आयाम के साथ डेटा को विभाजित करती है?
- छिपा/सुविधा आयाम
- टोकन (अनुक्रम) आयाम
- केवल बैच आयाम
- परतों की संख्या
- रिंग अटेंशन रिंग में व्यवस्थित जीपीयू के बीच क्या गुजरता है?
- पूर्ण मॉडल वजन
- अनुकूलक बताता है
- अंतिम लॉग
- कुंजी/मूल्य ब्लॉक
- How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
- Online softmax with a running maximum and normalizer
- Randomly dropping unseen key blocks
- Truncating every distant key
- Replacing all attention scores with zeros
- रिंग अटेंशन को पूर्ण K/V को संग्रहीत करने के लिए किसी एकल GPU की आवश्यकता क्यों नहीं है?
- यह अधिकांश कुंजियाँ हटा देता है
- यह एक छोटे मॉडल का उपयोग करता है
- K/V को ब्लॉकों में स्ट्रीम किया जाता है और केवल आंशिक परिणाम ही जमा होते हैं
- ध्यान अनुमानित है, सटीक नहीं
- When can Ring Attention reduce the exposed time spent transferring K/V blocks?
- Whenever the model has any number of parameters
- Only when every device stores the full sequence
- By eliminating all transfers between devices
- When useful block computation overlaps those transfers
- रिंग अटेंशन लोड संतुलन के लिए कारणात्मक मास्किंग किस जटिलता का परिचय देती है?
- यह मॉडल को गैर-विभेदित बनाता है
- बाद के टोकन अधिक कुंजियों पर ध्यान केंद्रित करते हैं, जिससे प्रति जीपीयू असमान कार्य करता है
- इससे अंगूठी की आवश्यकता समाप्त हो जाती है
- यह पैरामीटर गिनती को दोगुना कर देता है
- A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
- To discard the earlier keys permanently
- To replace all token embeddings
- To keep accumulated terms consistent with the updated running maximum
- शब्दावली का आकार कम करने के लिए
- Under causal masking with contiguous sequence shards, which tokens can require more attention work?
- Later tokens that can attend to more preceding positions
- All tokens require exactly one key
- Only padding tokens at the start
- Earlier tokens because they can see the future