Doğrudan Tercih Optimizasyonu Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Geleneksel RLHF ile karşılaştırıldığında DPO neyi ortadan kaldırır?
   • Ayrı ödül modeli ve takviyeli öğrenme döngüsü
   • Herhangi bir insan tercihi verisine duyulan ihtiyaç
   • Temel önceden eğitilmiş dil modeli
   • Log olasılıklarının kullanımı
2. Tek bir DPO eğitim örneği hangi verilerden oluşur?
   • Bir bilgi istemi ve sayısal bir ödül puanı
   • Seçilmiş ve reddedilmiş bir yanıtı içeren bilgi istemi
   • Bir istem ve tek bir doğru cevap
   • Yalnızca bir ödül modelinin çıktısı
3. Referans modelinin DPO'daki rolü nedir?
   • Reddedilen yanıtları üretir
   • Açık ödüllerle yanıtları puanlar
   • Bu, sürüklenmeyi sınırlamak için politikanın ölçüldüğü donmuş taban çizgisidir
   • Eğitim verilerinin yerine geçer
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. DPO kontrolünde beta (sıcaklık) parametresi ne işe yarar?
   • Politikanın referans modele ne kadar yakın tutulduğu
   • Optimize edicinin öğrenme oranı
   • Tercih çiftlerinin sayısı
   • Kelime büyüklüğü
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio