اختبار YaRN وامتداد طول السياق

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي طريقة ترميز الموضع التي تقوم YaRN بتعديلها لتوسيع السياق؟
   • زخارف موضعية دوارة (RoPE)
   • التضمينات الجيبية المطلقة
   • تعلمت جداول البحث الموضعية
   • مصفوفات التحيز النسبي فقط
2. ما الخطأ الذي يحدث عندما يرى نموذج RoPE تسلسلات أطول من طول التدريب الخاص به؟
   • تعطل الرمز المميز
   • تدخل زوايا الدوران في نطاقات غير مرئية وينهار الأداء
   • النموذج يخرج أصفار فقط
   • تصبح التدرجات واحدة بالضبط
3. كيف تتعامل YaRN مع أبعاد تردد RoPE المختلفة؟
   • إنه يقحم جميع الأبعاد بالتساوي
   • فهو يحذف أبعاد عالية التردد
   • إنه يقحم أبعاد التردد المنخفض مع الحفاظ إلى حد كبير على الأبعاد عالية التردد
   • انها عشوائية كل البعد
4. إلى جانب إعادة قياس الترددات، ما هو التعديل الإضافي الذي تطبقه YaRN؟
   • رمز مميز جديد
   • مضاعفة عدد الطبقات
   • إزالة تطبيع الطبقة
   • تعديل درجة حرارة الانتباه (تحجيم softmax).
5. ما هي الميزة العملية الرئيسية لـ YaRN على الاستيفاء الساذج؟
   • يصل إلى سياق طويل مع بيانات وخطوات أقل دقة بكثير
   • لا يحتاج إلى نموذج على الإطلاق
   • إنه يعمل فقط تحت 512 رمزًا
   • إنه يلغي الحاجة إلى وحدات معالجة الرسومات
6. لماذا يعد الاستيفاء الخطي الساذج لجميع ترددات RoPE ضارًا؟
   • إنه يؤثر فقط على شروط التحيز
   • فهو يضغط الأبعاد عالية التردد التي تشفر التفاصيل المحلية
   • يجعل النموذج أكبر
   • يغير حجم المفردات
7. In RoPE, which vectors receive position-dependent rotations?
   • Only the value vectors
   • Only the model’s token IDs
   • The query and key vectors
   • The optimizer’s gradient and momentum
8. What does YaRN’s attention-temperature adjustment address when context length is extended?
   • The number of GPU layers
   • The dimensions of the token vocabulary
   • The weight decay coefficient
   • Changes in attention entropy or softmax sharpness caused by the longer context