Kuiz berkaitan panduan · Sederhana Tahap

DPO berulang dan Kuiz Penalaan Keutamaan Dalam Talian

Ketahui cara DPO berulang menyegarkan data keutamaan, menggunakan hakim dan memperdagangkan pusingan penjajaran berulang terhadap kos tambahan dan berat sebelah.

Laluan panduan yang berkaitanDpo Berulang Dan Penalaan Keutamaan Dalam Talian
soalan 1 daripada 8

Apakah yang DPO elakkan yang diperlukan oleh RLHF (PPO) tradisional?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang DPO elakkan yang diperlukan oleh RLHF (PPO) tradisional?
    • Melatih model ganjaran eksplisit yang berasingan
    • Sebarang data latihan
    • Menggunakan rangkaian saraf
    • Keutamaan manusia sepenuhnya
  2. Mengapakah DPO berulang (dalam talian) selalunya lebih baik daripada menjalankan DPO sekali pada set data tetap?
    • Ia tidak memerlukan label keutamaan
    • Ia memastikan data latihan pada dasar dan segar apabila model berubah
    • Ia mengalih keluar model rujukan
    • Ia hanya berfungsi untuk imej
  3. Apakah peranan yang dimainkan oleh model rujukan dalam kehilangan DPO?
    • Ia menjana output pengguna akhir
    • Ia melabelkan pilihan
    • Ia menambat dasar melalui nisbah kebarangkalian log, mengawal sisihan
    • Ia menggantikan tokenizer
  4. Dalam satu lelaran DPO dalam talian, apakah urutan biasa?
    • Padamkan model, kemudian latih semula dari awal
    • Hanya label semula data lama tanpa pensampelan
    • Latih CNN mengenai respons
    • Contoh respons baharu, nilaikan keutamaan, kemudian jalankan kemas kini DPO
  5. Apakah yang dikawal oleh hiperparameter beta dalam DPO?
    • Betapa kuatnya dasar menyimpang daripada model rujukan
    • Saiz perbendaharaan kata
    • Bilangan GPU
    • Resolusi imej
  6. Apakah idea utama di sebalik DPO berulang 'menghargai diri'?
    • Model ini tidak pernah menggunakan keutamaan
    • Model menjana dan menilai pasangan tindak balasnya sendiri untuk mencipta data latihan
    • Manusia mesti melabel setiap pasangan
    • Ia hanya menggunakan ganjaran rawak
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates