اختبار مرتبط بالدليل · متوسط المستوى
اختبار تحسين التفضيل المباشر
قم بمراجعة أزواج تفضيلات DPO والسياسة المرجعية والمكافآت الضمنية والبيتا والمتغيرات وحدود التدريب على التفضيلات المباشرة.
سؤال 1 من 8
ما الذي يزيله DPO مقارنة بـ RLHF التقليدي؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يزيله DPO مقارنة بـ RLHF التقليدي؟
- نموذج المكافأة المنفصل وحلقة التعلم المعزز
- الحاجة إلى أي بيانات تفضيل الإنسان
- نموذج اللغة الأساسي المُدرب مسبقًا
- استخدام احتمالات السجل
- ما هي البيانات التي يتكون منها مثال تدريبي واحد لـ DPO؟
- درجة مكافأة سريعة ورقمية
- موجه مع الرد المختار والمرفوض
- إجابة سريعة وصحيحة واحدة
- فقط مخرجات نموذج المكافأة
- ما هو الدور الذي يلعبه النموذج المرجعي في DPO؟
- فهو يولد الاستجابات المرفوضة
- يسجل الردود بمكافآت صريحة
- إنه خط الأساس المتجمد الذي يتم قياس السياسة عليه للحد من الانجراف
- فإنه يحل محل بيانات التدريب
- How does the DPO loss use a labeled preference pair?
- It regresses both responses to the same scalar target
- It trains a separate value critic to predict token-level returns
- It maximizes the rejected response without a reference
- It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
- ما الذي تتحكم به معلمة بيتا (درجة الحرارة) في DPO؟
- مدى قوة إبقاء السياسة قريبة من النموذج المرجعي
- معدل التعلم للمحسن
- عدد أزواج التفضيلات
- حجم المفردات
- Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
- PPO, which requires a value critic for every label
- KTO, a prospect-theoretic objective for binary desirability feedback
- DARTS, which searches differentiable network cells
- Beam search, which changes model weights from rankings
- In a standard DPO preference example, which response is preferred?
- The response with more tokens by definition
- The response with the lowest reference likelihood
- The response selected by the preference labeler for the given prompt
- A random response unrelated to the prompt
- In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
- A separately trained scalar reward-model head
- A human-written point score for each token
- The average sequence length of preference data
- Beta times the policy/reference log-probability ratio