الروتاري موقف التضمين
تقوم عمليات تضمين الموضع الدوار (RoPE) بتشفير مكان وجود كل رمز مميز في تسلسل عن طريق تدوير استعلامه ومتجهاته الرئيسية بزاوية تتناسب مع الموضع.
نظرة عامة
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
الغوص العميق
لا تمتلك المحولات إحساسًا داخليًا بالنظام، لذا فهي تحتاج إلى إضافة معلومات الموقع بطريقة أو بأخرى. أضافت النماذج المبكرة ناقلات جيبية ثابتة أو تضمينات موضعية مستفادة إلى المدخلات. يتبع RoPE، الذي اقترحه Su وزملاؤه في عام 2021، نهجًا مختلفًا: فبدلاً من إضافة متجه موضع، يقوم بتدوير أزواج من الأبعاد في الاستعلام والمتجهات الرئيسية بزاوية تنمو مع موضع الرمز المميز. عندما يحسب النموذج حاصل الضرب النقطي بين استعلام في الموضع m ومفتاح في الموضع n، يتم إجراء الحسابات بحيث تعتمد النتيجة فقط على المسافة النسبية بينهما m ناقص n. وهذا يعطي وعيًا حقيقيًا بالموقع النسبي، ويلعب بشكل جيد مع نواة الانتباه الفعالة، ويضعف الانتباه بسلاسة مع المسافة. يُستخدم RoPE الآن في نماذج Llama وMistral وQwen ومعظم النماذج المفتوحة الحديثة.
البصيرة الفنية
يعالج RoPE أبعاد التضمين في أزواج ويطبق دورانًا ثنائي الأبعاد على كل زوج، مع دوران أزواج مختلفة بترددات مختلفة، تمامًا مثل عقارب العديد من الساعات التي تدق بسرعات مختلفة. نظرًا لأن التدوير حسب الموضع m ثم أخذ حاصل الضرب النقطي بشيء يدور بالموضع n لا يترك سوى فرق الزاوية، فإن درجات الانتباه تصبح دوالًا للموضع النسبي. تلتقط الأزواج عالية التردد النظام المحلي الجيد؛ تلتقط أزواج الترددات المنخفضة مواقع بعيدة المدى. والأهم من ذلك، أنه يعدل الاستعلامات والمفاتيح، وليس القيم.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل التضمين الموضعي الدوار
تركز الكثير من الأعمال الحديثة على تمديد RoPE إلى سياقات أطول بكثير من تلك التي تم تدريب النموذج عليها. تقوم تقنيات مثل استيفاء الموضع، والقياس المدرك لـ NTK، وYaRN بضبط ترددات التدوير بحيث يمكن للنموذج الذي تم تدريبه على رموز 4K، على سبيل المثال، التعامل مع 32K أو أكثر من خلال الضبط الدقيق للضوء. نتوقع أن يظل RoPE هو المخطط الموضعي المهيمن، مع التحسينات المستمرة لتردده الأساسي وتوسيع نطاقه لسياقات المليون رمز، والدراسة المستمرة لكيفية تفاعله مع سلوك الانتباه.
التنفيذ في العالم الحقيقي
إعطاء نماذج Llama وMistral وQwen لإحساسهم بالترتيب الرمزي دون تضمينات موضعية منفصلة
توسيع السياق القابل للاستخدام للنموذج من بضعة آلاف إلى عشرات الآلاف من الرموز المميزة عبر الاستيفاء أو YaRN
مساعدة نماذج التعليمات البرمجية على تتبع المسافات النسبية بين الأقواس والوظائف والمراجع عبر الملفات الطويلة
دعم الإجابة على الأسئلة ذات المستند الطويل عندما يكون الموضع النسبي بين السؤال والأدلة مهمًا
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
التحيز لموقف عليبي
الأسئلة المتداولة
What is Rotary Position Embeddings?
تقوم عمليات تضمين الموضع الدوار (RoPE) بتشفير مكان وجود كل رمز مميز في تسلسل عن طريق تدوير استعلامه ومتجهاته الرئيسية بزاوية تتناسب مع الموضع. تتيح هذه الخدعة الأنيقة للمحولات فهم المسافات النسبية والتمدد بأمان إلى سياقات أطول.
كيف يقوم RoPE بحقن معلومات الموقع في المحول؟
يقوم RoPE بتدوير الاستعلام والمتجهات الرئيسية بزاوية متناسبة مع الموضع، بدلاً من إضافة متجه موضع منفصل.
ما هي أجزاء حساب الانتباه التي يقوم RoPE بتعديلها؟
يطبق RoPE عمليات التدوير الخاصة به على الاستعلام والمتجهات الرئيسية، مع ترك متجهات القيمة دون تغيير.
لماذا تدور أزواج الأبعاد المختلفة بترددات مختلفة في RoPE؟
مثل عقارب الساعة التي تدق بسرعات مختلفة، تتيح الترددات المتنوعة لبعض الأزواج تشفير الترتيب قصير المدى والبعض الآخر ترتيبًا طويل المدى.
ما هو الهدف من تقنيات مثل استيفاء الموضع، والقياس المدرك لـ NTK، وYaRN؟
تعمل هذه الأساليب على إعادة قياس ترددات دوران RoPE بحيث يتمكن النموذج من التعامل مع سياقات أطول بكثير من طول التدريب الأصلي.