रोटरी स्थिति एंबेडिंग

This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.

ट्रांसफार्मर में ऑर्डर की कोई अंतर्निहित भावना नहीं होती है, इसलिए उन्हें किसी तरह स्थिति की जानकारी जोड़ने की आवश्यकता होती है। प्रारंभिक मॉडल ने इनपुट में निश्चित साइनसॉइडल वैक्टर या सीखी गई स्थिति एम्बेडिंग को जोड़ा। 2021 में सु और सहकर्मियों द्वारा प्रस्तावित RoPE, एक अलग दृष्टिकोण अपनाता है: एक स्थिति वेक्टर जोड़ने के बजाय, यह क्वेरी और कुंजी वैक्टर में आयामों के जोड़े को एक कोण से घुमाता है जो टोकन की स्थिति के साथ बढ़ता है। जब मॉडल स्थिति m पर एक क्वेरी और स्थिति n पर एक कुंजी के बीच डॉट उत्पाद की गणना करता है, तो गणित काम करता है इसलिए परिणाम केवल उनकी सापेक्ष दूरी m माइनस n पर निर्भर करता है। यह वास्तविक सापेक्ष-स्थिति जागरूकता देता है, कुशल ध्यान कर्नेल के साथ अच्छी तरह से खेलता है, और दूरी के साथ ध्यान को आसानी से कम करता है। RoPE का उपयोग अब लामा, मिस्ट्रल, क्वेन और अधिकांश आधुनिक ओपन मॉडल में किया जाता है।