İnsan Geri Bildirim Testinden Takviyeli Öğrenme

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Bir dil modeli için RLHF'nin temel amacı nedir?
   • Çıktılarını yardımseverlik ve güvenlik açısından insanın tercihleriyle uyumlu hale getirmek
   • Modelin parametre sayısını artırmak için
   • Daha hızlı çıkarım için modeli sıkıştırmak için
   • Modeli diğer dillere çevirmek için
2. RLHF'deki ödül modeli aslında ne yapmayı öğreniyor?
   • Kullanıcılara son yanıtları oluşturun
   • İstemleri ödül para birimine çevirin
   • İnsanların belirli bir yanıtı ne kadar tercih edeceğini yansıtan skaler bir puan atayın
   • Modelin öğrenme oranına karar verin
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Ödül modeli için tercih verileri genellikle nasıl toplanır?
   • İnsanlar sıfırdan yepyeni cevaplar yazıyor
   • Model kendi güvenini derecelendiriyor
   • Rastgele etiketler otomatik olarak atanır
   • İnsanlar aynı istemle ilgili iki model yanıtını karşılaştırır ve daha iyi olanı seçer
5. DPO (Doğrudan Tercih Optimizasyonu), klasik RLHF hattına göre ne gibi avantajlar sunuyor?
   • Hiçbir veriye ihtiyaç duymaz
   • Modelin asla yanlış olamayacağını garanti eder
   • Ayrı bir ödül modelini ve PPO döngüsünü atlayarak politikayı doğrudan tercih çiftlerinden optimize eder
   • Ön eğitim ihtiyacını ortadan kaldırır
6. RLAIF ve Anayasal Yapay Zeka konularında geri bildirimlerin çoğu nereden geliyor?
   • Yanıtlar üreten veya eleştiren bir yapay zeka modelinden insan etiketlemeyi azaltın
   • Yalnızca ücretli insan açıklamacılardan
   • Rastgele sayı üreteçlerinden
   • Doğrudan modelin ön eğitim külliyatından
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression