Kuis terkait panduan · Sedang Tingkat

Normalisasi Panjang dalam Kuis Optimasi Preferensi

Periksa bagaimana tujuan penyesuaian preferensi menangani panjang respons, mengapa SimPO menormalkan skor token, dan bagaimana jawaban ringkas dievaluasi.

Jalur panduan terkaitNormalisasi Panjang Dalam Optimasi Preferensi
Pertanyaan 1 dari 8

Perilaku tidak diinginkan apa yang terutama ingin dicegah oleh normalisasi panjang di DPO?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Perilaku tidak diinginkan apa yang terutama ingin dicegah oleh normalisasi panjang di DPO?
    • Model yang menyukai respons yang lebih lama, apa pun kualitas sebenarnya
    • Model menolak menjawab pertanyaan
    • Model berhalusinasi fakta
    • Model merespons terlalu lambat
  2. Mengapa imbalan implisit DPO standar cenderung meningkat seiring dengan lamanya respons?
    • Ini melipatgandakan imbalan berdasarkan suhu
    • Ini adalah jumlah perbedaan probabilitas log per token
    • Ini menggunakan bonus tetap per kalimat
    • Ini menghukum jawaban pendek secara eksplisit
  3. Bagaimana SimPO mengatasi bias panjang?
    • Ini menggandakan bobot model referensi
    • Ini memotong semua respons ke panjang yang tetap
    • Ini menggunakan probabilitas log rata-rata per token sebagai hadiahnya
    • Ini menghapus seluruh data preferensi
  4. Perbedaan struktural yang mencolok antara SimPO dan DPO standar adalah SimPO:
    • Membutuhkan data pelatihan dua kali lebih banyak
    • Hanya berfungsi pada gambar
    • Menonaktifkan penurunan gradien
    • Tidak menggunakan model referensi terpisah
  5. Praktik evaluasi manakah yang membantu mengonfirmasi peningkatan kualitas model, bukan sekadar panjangnya?
    • Melaporkan tingkat kemenangan yang dikontrol lamanya
    • Menghitung parameter total
    • Mengukur suhu GPU
    • Meningkatkan ukuran batch
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail