इनाम मॉडलिंग प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. किसी दिए गए त्वरित-प्रतिक्रिया युग्म के लिए इनाम मॉडल का प्राथमिक आउटपुट क्या है?
   • एकल अदिश अंक
   • एक पूर्ण पाठ प्रतिक्रिया
   • शब्दावली पर संभाव्यता वितरण
   • पसंदीदा टोकन की एक सूची
2. What feedback format did the InstructGPT paper collect to train its reward model?
   • A guaranteed correctness label for every possible answer
   • Human rankings of several model responses, converted into pairwise preferences
   • A single sentiment score for each training prompt
   • Only binary safety labels with no response comparisons
3. मानक इनाम-मॉडल हानि क्या अनुकूलित करती है?
   • प्रत्येक प्रतिक्रिया का पूर्ण पुरस्कार मूल्य
   • अगली-टोकन भविष्यवाणी सटीकता
   • यह कि चुनी गई प्रतिक्रिया का स्कोर अस्वीकृत प्रतिक्रिया से अधिक है
   • प्रतिक्रियाओं की लंबाई
4. 'रिवॉर्ड हैकिंग' क्या है?
   • किसी प्रतिस्पर्धी का इनाम मॉडल चुराना
   • प्रशिक्षण में तेजी लाने की एक विधि
   • इनाम सिग्नल को एन्क्रिप्ट करना
   • नीति वास्तविक गुणवत्ता के बिना उच्च अंक प्राप्त करने के लिए इनाम मॉडल की खामियों का फायदा उठाती है
5. एक इनाम मॉडल वास्तुशिल्प रूप से एक भाषा मॉडल से कैसे प्राप्त होता है?
   • टोकन-भविष्यवाणी हेड को एकल स्केलर आउटपुट हेड से बदलकर
   • अधिक ध्यान परतें जोड़कर
   • ट्रांसफार्मर की सभी परतों को हटाकर
   • शब्दावली को दोगुना करके
6. बेस्ट-ऑफ-एन सैंपलिंग में अनुमान के समय इनाम मॉडल का उपयोग कैसे किया जाता है?
   • समानांतर में प्रशिक्षण एन इनाम मॉडल
   • एकाधिक प्रतिक्रियाएँ उत्पन्न करना और उच्चतम स्कोरिंग वाले को चुनने के लिए इनाम मॉडल का उपयोग करना
   • एन सबसे आम टोकन का चयन करना
   • एन मॉडल चौकियों का औसत
7. Why might an RLHF study use an ensemble of reward models during training?
   • To guarantee that reward hacking is impossible
   • To replace the human preference data with exact correctness labels
   • To estimate disagreement or uncertainty across learned preference scorers
   • To ensure every candidate receives the same score
8. Why should reward-model evaluations include held-out comparisons?
   • To ensure training comparisons are never used
   • To make every output identical
   • To guarantee the reward is unbiased
   • To test whether preferences generalize beyond the training comparisons