روٹری پوزیشن ایمبیڈنگس

This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.

ٹرانسفارمرز میں ترتیب کا کوئی احساس نہیں ہوتا ہے، اس لیے انہیں کسی نہ کسی طرح پوزیشن کی معلومات کی ضرورت ہوتی ہے۔ ابتدائی ماڈلز نے ان پٹس میں فکسڈ سائنوسائیڈل ویکٹر یا سیکھے ہوئے پوزیشن ایمبیڈنگز کو شامل کیا۔ 2021 میں Su اور ساتھیوں کے ذریعہ تجویز کردہ RoPE، ایک مختلف نقطہ نظر اختیار کرتا ہے: پوزیشن ویکٹر کو شامل کرنے کے بجائے، یہ استفسار اور کلیدی ویکٹرز میں طول و عرض کے جوڑے کو ایک ایسے زاویے سے گھماتا ہے جو ٹوکن کی پوزیشن کے ساتھ بڑھتا ہے۔ جب ماڈل پوزیشن m پر ایک سوال اور n پوزیشن پر ایک کلید کے درمیان ڈاٹ پروڈکٹ کی گنتی کرتا ہے، تو ریاضی کام کرتا ہے لہذا نتیجہ صرف ان کے رشتہ دار فاصلے m مائنس n پر منحصر ہوتا ہے۔ یہ حقیقی رشتہ دار پوزیشن کے بارے میں آگاہی فراہم کرتا ہے، موثر توجہ کے دانے کے ساتھ اچھی طرح سے کھیلتا ہے، اور فاصلے کے ساتھ آسانی سے توجہ کو ختم کرتا ہے۔ RoPE اب Llama، Mistral، Qwen اور جدید ترین اوپن ماڈلز میں استعمال ہوتا ہے۔