Pembelajaran Pengukuhan Daripada Kuiz Maklum Balas Manusia

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah tujuan utama RLHF untuk model bahasa?
   • Untuk menyelaraskan outputnya dengan keutamaan manusia untuk membantu dan keselamatan
   • Untuk meningkatkan kiraan parameter model
   • Untuk memampatkan model untuk inferens yang lebih cepat
   • Untuk menterjemah model ke dalam bahasa lain
2. Apakah model ganjaran dalam RLHF sebenarnya belajar lakukan?
   • Hasilkan respons akhir kepada pengguna
   • Terjemah gesaan ke dalam mata wang ganjaran
   • Tetapkan skor skalar yang menggambarkan sejauh mana manusia lebih suka respons yang diberikan
   • Tentukan kadar pembelajaran model
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Bagaimanakah data keutamaan biasanya dikumpulkan untuk model ganjaran?
   • Manusia menulis jawapan baharu dari awal
   • Model itu menilai keyakinannya sendiri
   • Label rawak diberikan secara automatik
   • Manusia membandingkan dua respons model kepada gesaan yang sama dan memilih yang lebih baik
5. Apakah kelebihan yang ditawarkan oleh DPO (Pengoptimuman Keutamaan Langsung) berbanding saluran paip RLHF klasik?
   • Ia tidak memerlukan data sama sekali
   • Ia menjamin model tidak boleh salah
   • Ia mengoptimumkan dasar terus daripada pasangan keutamaan, melangkau model ganjaran yang berasingan dan gelung PPO
   • Ia menghapuskan keperluan untuk pralatihan
6. Dalam RLAIF dan AI Perlembagaan, dari manakah banyak maklum balas datang?
   • Daripada model AI yang menjana atau mengkritik respons, mengurangkan pelabelan manusia
   • Hanya dari anotasi manusia berbayar
   • Daripada penjana nombor rawak
   • Daripada korpus pralatihan model secara langsung
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression