गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर
अटेंशन रोलआउट और हेड प्रूनिंग क्विज़
परीक्षण करता है कि कैसे रोलआउट अवशिष्ट पथों के साथ स्तरित ध्यान को जोड़ता है, हेड प्रूनिंग का क्या अनुमान है, और वे स्कोर क्या समझा सकते हैं और क्या नहीं समझा सकते हैं।
प्रश्न 1 का 8
ध्यान आकर्षित करने का लक्ष्य क्या है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- ध्यान आकर्षित करने का लक्ष्य क्या है?
- इनपुट टोकन से आउटपुट तक परतों में संचयी सूचना प्रवाह का पता लगाना
- ट्रांसफार्मर में अधिक परतें जोड़ने के लिए
- सीखने की दर को बढ़ाने के लिए
- ध्यान को संकल्प में परिवर्तित करना
- स्पष्टीकरण के लिए एक परत का ध्यान मानचित्र अक्सर अपर्याप्त क्यों होता है?
- ध्यान की गणना कभी नहीं की जाती
- जानकारी कई परतों और शीर्षों में मिश्रित होती है, इसलिए एक मानचित्र पूरा पथ भूल जाता है
- मानचित्र हमेशा एक समान होते हैं
- ट्रांसफार्मर का केवल एक ही हेड होता है
- अवशिष्ट कनेक्शनों को ध्यान में रखते हुए प्रत्येक ध्यान मैट्रिक्स में ध्यान रोलआउट क्या जोड़ता है?
- शून्य का पूर्वाग्रह
- एक यादृच्छिक शोर शब्द
- सामान्यीकरण से पहले एक पहचान मैट्रिक्स घटक
- एक अतिरिक्त सॉफ्टमैक्स
- मल्टी-हेड अटेंशन पर शोध से हेड रिडंडेंसी के बारे में क्या पता चला?
- हर मुखिया जरूरी है
- सिरों को हटाया नहीं जा सकता
- काट-छाँट हमेशा सटीकता को दोगुना कर देती है
- सटीकता में थोड़ी कमी के साथ कई सिरों को काटा जा सकता है
- आमतौर पर छंटाई के लिए सिर के महत्व का आकलन कैसे किया जाता है?
- हेड मास्क के नुकसान की क्रमिक-आधारित संवेदनशीलता के माध्यम से
- इसकी वर्णानुक्रमिक स्थिति से
- केवल इसके मापदंडों को गिनकर
- दिन के समय तक
- अटेंशन रोलआउट और हेड प्रूनिंग प्रत्येक कौन से अलग-अलग कार्य करते हैं?
- वे समान तकनीकें हैं
- रोलआउट व्याख्या में सहायता करता है जबकि प्रूनिंग मॉडल को संपीड़ित करने के लिए अतिरेक का फायदा उठाता है
- दोनों केवल पैरामीटर जोड़ते हैं
- न ही ध्यान छूता है
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation