अटेंशन रोलआउट और हेड प्रूनिंग

अटेंशन रोलआउट यह पता लगाने की एक विधि है कि ट्रांसफॉर्मर की स्टैक्ड अटेंशन परतों के माध्यम से जानकारी कैसे प्रवाहित होती है, यह समझाने के लिए कि कौन से इनपुट टोकन भविष्यवाणी को प्रभावित करते हैं। हेड प्रूनिंग उन हेड्स का ध्यान हटा देती है जो सटीकता को नुकसान पहुंचाए बिना छोटे, सिकुड़ते मॉडल में योगदान करते हैं। साथ में वे हमें ट्रांसफॉर्मर की व्याख्या और संपीड़ित करने में मदद करते हैं।

रोलआउट परत-वार ध्यान (अवशेषों के साथ) को गुणा करता है ताकि यह अनुमान लगाया जा सके कि प्रत्येक इनपुट टोकन आउटपुट को कैसे प्रभावित करता है।

क्योंकि तर्क को स्टैक्ड परतों और शीर्षों में वितरित किया जाता है, एक परत का नक्शा पूर्ण सूचना प्रवाह को कैप्चर नहीं कर सकता है।

एक पहचान घटक जोड़ने से अवशिष्ट स्किप कनेक्शन मॉडल बनता है जो टोकन को अपनी जानकारी बनाए रखने देता है।

'क्या सोलह सिर वास्तव में एक से बेहतर हैं?' जैसे अध्ययन दिखाया गया है कि अनुमान के समय शीर्षों का एक बड़ा हिस्सा अनावश्यक है।

प्रत्येक शीर्ष पर मास्क वैरिएबल के संबंध में हानि के ग्रेडिएंट का उपयोग करके महत्व को अक्सर स्कोर किया जाता है।