DPO berulang dan Kuis Penyetelan Preferensi Online

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang DPO hindari yang dibutuhkan oleh RLHF (PPO) tradisional?
   • Melatih model imbalan eksplisit yang terpisah
   • Data pelatihan apa pun
   • Menggunakan jaringan saraf
   • Preferensi manusia sepenuhnya
2. Mengapa DPO berulang (online) seringkali lebih baik daripada menjalankan DPO sekali pada kumpulan data tetap?
   • Tidak memerlukan label preferensi
   • Hal ini menjaga data pelatihan tetap sesuai kebijakan dan tetap segar seiring perubahan model
   • Ini menghilangkan model referensi
   • Ini hanya berfungsi untuk gambar
3. Apa peran model referensi dalam hilangnya DPO?
   • Ini menghasilkan keluaran pengguna akhir
   • Ini memberi label pada preferensi
   • Hal ini mendasari kebijakan melalui rasio log-probabilitas, yang mengendalikan penyimpangan
   • Ini menggantikan tokenizer
4. Dalam satu iterasi DPO online, apa urutan tipikalnya?
   • Hapus modelnya, lalu latih kembali dari awal
   • Hanya beri label ulang pada data lama tanpa pengambilan sampel
   • Latih CNN tentang tanggapannya
   • Cicipi respons baru, nilai preferensi, lalu jalankan pembaruan DPO
5. Apa yang dikontrol oleh hyperparameter beta di DPO?
   • Seberapa kuat kebijakan tersebut menyimpang dari model referensi
   • Ukuran kosakata
   • Jumlah GPU
   • Resolusi gambar
6. Apa ide kunci di balik DPO berulang yang 'menghargai diri sendiri'?
   • Model ini tidak pernah menggunakan preferensi
   • Model menghasilkan dan menilai pasangan responsnya sendiri untuk membuat data pelatihan
   • Manusia harus memberi label pada setiap pasangan
   • Itu hanya menggunakan hadiah acak
7. Who can label response preferences in an online DPO iteration?
   • Only the tokenizer
   • Only the reference policy’s embedding layer
   • Human raters or an AI judge such as a reward model
   • A discriminator that never sees responses
8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
   • Training no model parameters
   • Removing all evaluation from the pipeline
   • Storing every possible response in advance
   • Repeated response generation and preference labeling between updates