अटेंशन रोलआउट और हेड प्रूनिंग

Head pruning removes attention heads that contribute little, shrinking models without hurting accuracy. Together they help us interpret and compress Transformers.

ट्रांसफॉर्मर अपने तर्क को कई परतों में कई ध्यान प्रमुखों तक फैलाते हैं, इसलिए एक परत का ध्यान मानचित्र शायद ही पूरी कहानी बताता है। 2020 में अब्नार और ज़ुइडेमा द्वारा शुरू किया गया अटेंशन रोलआउट, अटेंशन मैट्रिक्स को परत दर परत गुणा करके (अवशिष्ट कनेक्शनों के लिए लेखांकन के बाद) इसे ठीक करता है ताकि यह अनुमान लगाया जा सके कि प्रत्येक इनपुट टोकन अंततः किसी दिए गए आउटपुट टोकन में कितना योगदान देता है। अलग से, मिशेल और सहकर्मियों जैसे शोध 'क्या सोलह सिर वास्तव में एक से बेहतर हैं?' पता चला कि कई शीर्ष अनावश्यक हैं: एक बड़े अंश को नगण्य सटीकता हानि के साथ अनुमान के समय काटा जा सकता है। हेड प्रूनिंग प्रमुखों को महत्व के आधार पर रैंक करती है, अक्सर ग्रेडिएंट-आधारित संवेदनशीलता स्कोर का उपयोग करते हुए, फिर कम से कम उपयोगी लोगों को मास्क कर देती है। दो तकनीकें पूरक हैं: रोलआउट से पता चलता है कि नेटवर्क के कौन से हिस्से व्याख्या के लिए महत्वपूर्ण हैं, और मॉडल को छोटा और तेज़ बनाने के लिए प्रूनिंग अतिरेक पर कार्य करती है।