Tercih Optimizasyonu Testinde Uzunluk Normalleştirme

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. DPO'daki uzunluk normalleştirmesi öncelikli olarak hangi istenmeyen davranışı önlemeyi amaçlamaktadır?
   • Gerçek kaliteden bağımsız olarak daha uzun yanıtları tercih eden modeller
   • Sorulara cevap vermeyi reddeden modeller
   • Gerçekleri halüsinasyona uğratan modeller
   • Modeller çok yavaş yanıt veriyor
2. Standart DPO'nun örtülü ödülü neden yanıt süresi arttıkça artma eğilimindedir?
   • Ödülü sıcaklıkla çarpar
   • Bu, jeton başına günlük olasılık farklarının toplamıdır
   • Cümle başına sabit bir bonus kullanır
   • Kısa cevapları açıkça cezalandırıyor
3. SimPO uzunluk yanlılığını nasıl ele alıyor?
   • Referans modelin ağırlığını iki katına çıkarır
   • Tüm yanıtları sabit bir uzunluğa kısaltır
   • Ödül olarak jeton başına ortalama günlük olasılığını kullanır
   • Tercih verilerini tamamen kaldırır
4. SimPO ile standart DPO arasındaki dikkate değer yapısal fark, SimPO'nun:
   • İki kat daha fazla eğitim verisi gerektirir
   • Yalnızca görseller üzerinde çalışır
   • Degrade inişini devre dışı bırakır
   • Ayrı bir referans modeli kullanmaz
5. Hangi değerlendirme uygulaması, yalnızca uzunluktan ziyade kalite açısından iyileştirilmiş bir modelin doğrulanmasına yardımcı olur?
   • Uzunluk kontrollü bir kazanma oranı bildirme
   • Toplam parametrelerin sayılması
   • GPU sıcaklığının ölçülmesi
   • Toplu iş boyutunu artırma
6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
   • ImageNet, COCO, and GLUE
   • AlpacaEval 2, MT-Bench, and Arena-Hard
   • LibriSpeech, WER, and BLEU
   • MMLU, GSM8K, and HumanEval only
7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
   • Identical scores for both responses
   • A longer preferred response regardless of quality
   • A larger score difference in favor of the preferred response
   • A new reference model for every token
8. What risk can overly aggressive length normalization create?
   • It guarantees all answers have the same factual accuracy
   • It makes the reference model’s vocabulary larger
   • It prevents evaluators from comparing responses
   • It can favor answers that are too terse to include necessary detail