تطبيع الطول في اختبار تحسين التفضيلات

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هو السلوك غير المرغوب فيه الذي يهدف تطبيع الطول في DPO في المقام الأول إلى منعه؟
   • النماذج تفضل الاستجابات الأطول بغض النظر عن الجودة الفعلية
   • نماذج ترفض الإجابة على الأسئلة
   • نماذج حقائق هلوسة
   • النماذج تستجيب ببطء شديد
2. لماذا تميل المكافأة الضمنية القياسية لـ DPO إلى الزيادة مع طول الاستجابة؟
   • إنه يضاعف المكافأة حسب درجة الحرارة
   • إنه مجموع فروق احتمالية السجل لكل رمز
   • ويستخدم مكافأة ثابتة لكل جملة
   • يعاقب الإجابات القصيرة بشكل صريح
3. كيف يعالج SimPO انحياز الطول؟
   • إنه يضاعف وزن النموذج المرجعي
   • فهو يقتطع كافة الاستجابات إلى طول ثابت
   • ويستخدم متوسط احتمالية السجل لكل رمز كمكافأة
   • يقوم بإزالة بيانات التفضيل بالكامل
4. الفرق الهيكلي الملحوظ بين SimPO وDPO القياسي هو أن SimPO:
   • يتطلب ضعف بيانات التدريب
   • يعمل فقط على الصور
   • تعطيل نزول التدرج
   • لا يستخدم نموذج مرجعي منفصل
5. ما هي ممارسة التقييم التي تساعد في تأكيد تحسين النموذج من حيث الجودة بدلاً من مجرد الطول؟
   • الإبلاغ عن معدل فوز يتم التحكم فيه بالطول
   • حساب إجمالي المعلمات
   • قياس درجة حرارة وحدة معالجة الرسومات
   • زيادة حجم الدفعة
6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
   • ImageNet, COCO, and GLUE
   • AlpacaEval 2, MT-Bench, and Arena-Hard
   • LibriSpeech, WER, and BLEU
   • MMLU, GSM8K, and HumanEval only
7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
   • Identical scores for both responses
   • A longer preferred response regardless of quality
   • A larger score difference in favor of the preferred response
   • A new reference model for every token
8. What risk can overly aggressive length normalization create?
   • It guarantees all answers have the same factual accuracy
   • It makes the reference model’s vocabulary larger
   • It prevents evaluators from comparing responses
   • It can favor answers that are too terse to include necessary detail