अलीबी स्थिति पूर्वाग्रह

It lets a model trained on short text handle much longer inputs at inference time.

ट्रांसफॉर्मर में शब्द क्रम की कोई अंतर्निहित धारणा नहीं होती है, इसलिए उन्हें स्थिति को एनकोड करने के तरीके की आवश्यकता होती है। क्लासिक दृष्टिकोण टोकन वैक्टर में स्थितीय एम्बेडिंग जोड़ता है। 2021 में प्रेस, स्मिथ और लुईस द्वारा पेश किया गया ALiBi, उन्हें पूरी तरह से बाहर कर देता है। इसके बजाय, यह सीधे ध्यान आकर्षित करता है: जब कोई क्वेरी टोकन कुंजी टोकन को देखता है, तो ALiBi उनके बीच की दूरी के अनुपात में जुर्माना घटा देता है। जो टोकन बहुत दूर हैं उन पर बड़ा जुर्माना लगता है, इसलिए मॉडल स्वाभाविक रूप से पास के संदर्भ को प्राथमिकता देता है। प्रत्येक ध्यान शीर्ष को अपना निश्चित दंड ढलान मिलता है, इसलिए कुछ शीर्ष स्थानीय रूप से देखते हैं जबकि अन्य दूर तक देखते हैं। क्योंकि पूर्वाग्रह केवल दूरी का एक कार्य है, ALiBi प्रशिक्षण में देखे गए अनुक्रमों की तुलना में कहीं अधिक लंबे अनुक्रमों को शानदार ढंग से विस्तारित करता है।