Kuis terkait panduan · Sedang Tingkat

Kuis Pengoptimalan Preferensi Rasio Odds

Menjelaskan tujuan preferensi bebas model referensi ORPO, penalti rasio odds, dan gabungan pelatihan yang diawasi dan preferensi.

Jalur panduan terkaitOptimasi Preferensi Rasio Odds
Pertanyaan 1 dari 8

Apa keuntungan praktis utama ORPO dibandingkan metode seperti DPO?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa keuntungan praktis utama ORPO dibandingkan metode seperti DPO?
    • Ini menghilangkan kebutuhan akan model referensi terpisah
    • Itu tidak memerlukan data pelatihan sama sekali
    • Ini hanya berfungsi pada model gambar
    • Ini menjamin nol halusinasi
  2. Apa perbandingan 'rasio odds' di ORPO?
    • Kecepatan latihan versus akurasi
    • Peluang respons yang dipilih versus respons yang ditolak
    • Dua kecepatan pembelajaran yang berbeda
    • Ukuran model versus ukuran kumpulan data
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. Kerugian ORPO paling tepat digambarkan sebagai kombinasi yang mana?
    • Entropi silang SFT ditambah istilah preferensi rasio odds tertimbang
    • Hanya skor model penghargaan
    • Pengembalian pembelajaran penguatan murni
    • Injeksi kebisingan acak
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • Ukuran kosakata tokenizer
    • Jumlah kepala perhatian
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation