Ödül Modelleme Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Belirli bir istem-cevap çifti için ödül modelinin birincil çıktısı nedir?
   • Tek bir skaler puan
   • Tam metin yanıtı
   • Kelime dağarcığı üzerinde olasılık dağılımı
   • Tercih edilen tokenlerin listesi
2. What feedback format did the InstructGPT paper collect to train its reward model?
   • A guaranteed correctness label for every possible answer
   • Human rankings of several model responses, converted into pairwise preferences
   • A single sentiment score for each training prompt
   • Only binary safety labels with no response comparisons
3. Standart ödül modeli kaybı neyi optimize eder?
   • Her yanıtın mutlak ödül değeri
   • Bir sonraki jeton tahmin doğruluğu
   • Seçilen yanıtın reddedilen yanıttan daha yüksek puan alması
   • Yanıtların uzunluğu
4. 'Ödül hackleme' nedir?
   • Bir rakibin ödül modelini çalmak
   • Eğitimi hızlandırmak için bir yöntem
   • Ödül sinyalini şifrelemek
   • Gerçek kalite olmadan yüksek puanlar elde etmek için ödül modelindeki kusurlardan yararlanan politika
5. Bir ödül modeli mimari olarak bir dil modelinden nasıl türetilir?
   • Jeton tahmin kafasını tek bir skaler çıkış kafasıyla değiştirerek
   • Daha fazla dikkat katmanı ekleyerek
   • Tüm transformatör katmanlarını kaldırarak
   • Kelime dağarcığını iki katına çıkararak
6. N'nin en iyisi örneklemesinde çıkarım zamanında bir ödül modeli nasıl kullanılır?
   • N ödül modelinin paralel olarak eğitilmesi
   • Birden fazla yanıt oluşturmak ve en yüksek puana sahip olanı seçmek için ödül modelini kullanmak
   • En yaygın N jetonun seçilmesi
   • N model kontrol noktalarının ortalamasını alma
7. Why might an RLHF study use an ensemble of reward models during training?
   • To guarantee that reward hacking is impossible
   • To replace the human preference data with exact correctness labels
   • To estimate disagreement or uncertainty across learned preference scorers
   • To ensure every candidate receives the same score
8. Why should reward-model evaluations include held-out comparisons?
   • To ensure training comparisons are never used
   • To make every output identical
   • To guarantee the reward is unbiased
   • To test whether preferences generalize beyond the training comparisons