Pembelajaran Penguatan Dari Kuis Umpan Balik Manusia

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa tujuan utama RLHF untuk model bahasa?
   • Untuk menyelaraskan keluarannya dengan preferensi manusia dalam hal kegunaan dan keamanan
   • Untuk meningkatkan jumlah parameter model
   • Untuk mengompresi model agar inferensi lebih cepat
   • Untuk menerjemahkan model ke bahasa lain
2. Apa yang sebenarnya dipelajari oleh model penghargaan di RLHF?
   • Hasilkan tanggapan akhir kepada pengguna
   • Terjemahkan perintah ke dalam mata uang hadiah
   • Tetapkan skor skalar yang mencerminkan seberapa besar keinginan manusia terhadap respons tertentu
   • Tentukan kecepatan pembelajaran model
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Bagaimana biasanya data preferensi dikumpulkan untuk model penghargaan?
   • Manusia menulis jawaban baru dari awal
   • Model tersebut menilai kepercayaan dirinya
   • Label acak diberikan secara otomatis
   • Manusia membandingkan dua model respons terhadap perintah yang sama dan memilih yang lebih baik
5. Keuntungan apa yang ditawarkan DPO (Optimasi Preferensi Langsung) dibandingkan jalur pipa RLHF klasik?
   • Itu tidak memerlukan data sama sekali
   • Ini menjamin modelnya tidak akan pernah salah
   • Hal ini mengoptimalkan kebijakan langsung dari pasangan preferensi, melewatkan model penghargaan terpisah dan putaran PPO
   • Ini menghilangkan kebutuhan akan pra-pelatihan
6. Di RLAIF dan Constitutional AI, dari mana banyak masukan berasal?
   • Dari model AI yang menghasilkan atau mengkritik respons, mengurangi pelabelan manusia
   • Hanya dari anotator manusia berbayar
   • Dari generator nomor acak
   • Dari korpus pra-pelatihan model secara langsung
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression