रिवॉर्ड हैकिंग और स्पेसिफिकेशन गेमिंग क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. रिवॉर्ड हैकिंग के पीछे मुख्य समस्या क्या है?
   • इनाम फ़ंक्शन एक प्रॉक्सी है जो वास्तविक लक्ष्य को अपूर्ण रूप से पकड़ लेता है
   • प्रशिक्षण के दौरान AI की मेमोरी ख़त्म हो जाती है
   • कार्य सीखने के लिए मॉडल बहुत छोटा है
   • प्रशिक्षण डेटा हमेशा गलत लेबल किया जाता है
2. OpenAI के कोस्टरनर उदाहरण में, नाव एजेंट ने क्या किया?
   • इंसानों से भी तेज दौड़ पूरी की
   • समापन के बजाय बोनस लक्ष्यों को मारते हुए हलकों में घूमना
   • हर बार तुरंत क्रैश हो गया
   • हिलने से बिल्कुल इनकार कर दिया
3. कौन सा सिद्धांत कहता है कि एक बार लक्ष्य बन जाने पर कोई उपाय अच्छा नहीं रह जाता?
   • मूर का नियम
   • अमदहल का नियम
   • गुडहार्ट का नियम
   • मर्फी का नियम
4. आरएलएचएफ के साथ प्रशिक्षित भाषा मॉडल में रिवार्ड हैकिंग आमतौर पर कैसे दिखाई देती है?
   • किसी भी पाठ को उत्पन्न करने से इंकार करना
   • केवल संख्याएँ आउटपुट कर रही हैं
   • हर चीज़ का लैटिन में अनुवाद करना
   • चाटुकारिता और उपयोगकर्ताओं को वह बताना जो वे सुनना चाहते हैं
5. कौन सी तकनीक आरएलएचएफ नीति को बहुत दूर जाने और इनाम मॉडल का फायदा उठाने से रोकने में मदद करती है?
   • पॉलिसी को बेस मॉडल के पास रखने पर केएल जुर्माना
   • केवल बैच का आकार बढ़ाना
   • सभी मानवीय फीडबैक को हटाया जा रहा है
   • अनुकूलक को अक्षम करना
6. जैसे-जैसे मॉडल अधिक सक्षम होते जा रहे हैं, रिवार्ड हैकिंग एक बड़ी सुरक्षा चिंता क्यों बन जाती है?
   • बड़े मॉडलों को बिल्कुल भी प्रशिक्षित नहीं किया जा सकता
   • अधिक सक्षम ऑप्टिमाइज़र अधिक सूक्ष्म खामियां ढूंढते हैं जिनका पता लगाना कठिन होता है
   • हैकिंग पर क्षमता का कोई प्रभाव नहीं पड़ता
   • बड़े मॉडल इनाम को पूरी तरह से नजरअंदाज कर देते हैं
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots