Kuiz berkaitan panduan · Sederhana Tahap
Normalisasi Panjang dalam Kuiz Pengoptimuman Keutamaan
Periksa cara objektif penalaan keutamaan mengendalikan panjang respons, sebab SimPO menormalkan skor token, dan cara jawapan ringkas dinilai.
soalan 1 daripada 8
Apakah tingkah laku yang tidak diingini yang biasanya dihalang oleh normalisasi panjang dalam DPO?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah tingkah laku yang tidak diingini yang biasanya dihalang oleh normalisasi panjang dalam DPO?
- Model yang mengutamakan respons yang lebih panjang tanpa mengira kualiti sebenar
- Model enggan menjawab soalan
- Model berhalusinasi fakta
- Model bertindak balas terlalu perlahan
- Mengapakah ganjaran tersirat DPO standard cenderung meningkat dengan panjang tindak balas?
- Ia menggandakan ganjaran dengan suhu
- Ia adalah jumlah perbezaan kebarangkalian log per-token
- Ia menggunakan bonus tetap setiap ayat
- Ia menghukum jawapan pendek secara eksplisit
- Bagaimanakah SimPO menangani bias panjang?
- Ia menggandakan berat model rujukan
- Ia memotong semua respons kepada panjang tetap
- Ia menggunakan purata kebarangkalian log setiap token sebagai ganjaran
- Ia mengalih keluar data keutamaan sepenuhnya
- Perbezaan struktur yang ketara antara SimPO dan DPO standard ialah SimPO:
- Memerlukan data latihan dua kali lebih banyak
- Hanya berfungsi pada imej
- Melumpuhkan keturunan kecerunan
- Tidak menggunakan model rujukan yang berasingan
- Amalan penilaian manakah yang membantu mengesahkan model yang dipertingkatkan dalam kualiti dan bukannya panjang sahaja?
- Melaporkan kadar kemenangan terkawal panjang
- Mengira jumlah parameter
- Mengukur suhu GPU
- Meningkatkan saiz kelompok
- Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
- What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
- What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail