Kuiz berkaitan panduan · Sederhana Tahap

Normalisasi Panjang dalam Kuiz Pengoptimuman Keutamaan

Periksa cara objektif penalaan keutamaan mengendalikan panjang respons, sebab SimPO menormalkan skor token, dan cara jawapan ringkas dinilai.

soalan 1 daripada 8

Apakah tingkah laku yang tidak diingini yang biasanya dihalang oleh normalisasi panjang dalam DPO?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah tingkah laku yang tidak diingini yang biasanya dihalang oleh normalisasi panjang dalam DPO?
    • Model yang mengutamakan respons yang lebih panjang tanpa mengira kualiti sebenar
    • Model enggan menjawab soalan
    • Model berhalusinasi fakta
    • Model bertindak balas terlalu perlahan
  2. Mengapakah ganjaran tersirat DPO standard cenderung meningkat dengan panjang tindak balas?
    • Ia menggandakan ganjaran dengan suhu
    • Ia adalah jumlah perbezaan kebarangkalian log per-token
    • Ia menggunakan bonus tetap setiap ayat
    • Ia menghukum jawapan pendek secara eksplisit
  3. Bagaimanakah SimPO menangani bias panjang?
    • Ia menggandakan berat model rujukan
    • Ia memotong semua respons kepada panjang tetap
    • Ia menggunakan purata kebarangkalian log setiap token sebagai ganjaran
    • Ia mengalih keluar data keutamaan sepenuhnya
  4. Perbezaan struktur yang ketara antara SimPO dan DPO standard ialah SimPO:
    • Memerlukan data latihan dua kali lebih banyak
    • Hanya berfungsi pada imej
    • Melumpuhkan keturunan kecerunan
    • Tidak menggunakan model rujukan yang berasingan
  5. Amalan penilaian manakah yang membantu mengesahkan model yang dipertingkatkan dalam kualiti dan bukannya panjang sahaja?
    • Melaporkan kadar kemenangan terkawal panjang
    • Mengira jumlah parameter
    • Mengukur suhu GPU
    • Meningkatkan saiz kelompok
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail