الاستيفاء الموضعي لاختبار السياق الطويل

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي الفكرة الأساسية وراء الاستيفاء الموضعي؟
   • ضغط مؤشرات الموضع الجديدة في النطاق الذي تم تدريب النموذج عليه بالفعل
   • تدريب نموذج جديد تمامًا من الصفر لكل طول
   • إزالة المعلومات الموضعية بالكامل
   • فرز الرموز حسب الأهمية
2. لماذا يفشل الاستقراء الساذج للمواقف الأطول؟
   • يستخدم القليل جدًا من الذاكرة
   • يمكن أن يؤدي ذلك إلى تفجير درجات الانتباه إلى قيم كبيرة للغاية وغير مستقرة
   • يقوم دائمًا بإرجاع نفس الرمز المميز
   • يتطلب رمزًا مختلفًا
3. ما مقدار الضبط الدقيق الذي تطلبه عمل PI الأصلي لتوسيع LLaMA إلى 32K؟
   • لا يوجد ضبط دقيق على الإطلاق
   • حوالي مليون خطوة
   • حوالي 1000 خطوة
   • جولة ما قبل التدريب الكاملة
4. إذا قمت بتوسيع السياق بعامل s، فكيف يقوم PI بتحويل الموضع m؟
   • إنه يعين m إلى m مرات s
   • إنه يعين m إلى m مربعة
   • ويترك م دون تغيير
   • يقوم بتعيين m إلى m مقسومًا على s
5. كيف أثر PI على الأساليب اللاحقة مثل YaRN؟
   • لقد أصبح خط الأساس الذي تم تحسين الأساليب المدركة للتردد عليه
   • تم تركه ولم يتم الاستشهاد به أبدًا
   • لقد حلت محل بنية المحولات
   • ينطبق فقط على نماذج الصور
6. ما هو ترميز الموضع الذي يستهدفه الاستيفاء الموضعي في المقام الأول؟
   • ترميزات واحدة ساخنة
   • حبل (تضمين الموضع الدوار)
   • ناقلات Word2Vec
   • حقيبة الكلمات مهمة
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000