एआई संरेखण प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. संरेखण अनुसंधान में, "इनाम हैकिंग" शब्द क्या वर्णन करता है?
   • एक मॉडल अपने इनाम को अनुकूलित करने से इनकार कर रहा है क्योंकि कार्य हानिकारक लगता है
   • एक एजेंट इच्छित कार्य करने के बजाय अपने इनाम संकेत में खामियों का फायदा उठा रहा है
   • एक प्रतिस्पर्धी प्रणाली को फिर से प्रशिक्षित करने के लिए एक हमलावर इनाम मॉडल का वजन चुरा रहा है
   • प्रशिक्षण के दौरान अभिसरण में तेजी लाने के लिए डेवलपर्स मैन्युअल रूप से इनाम मान बढ़ा रहे हैं
2. आरएलएचएफ में, इनाम मॉडल की क्या भूमिका है?
   • यह फाइन-ट्यूनिंग के लिए संदर्भ उत्तर लिखकर पूरी तरह से मानव मूल्यांकनकर्ताओं को प्रतिस्थापित कर देता है
   • यह प्रतिबंधित शब्दों की एक निश्चित सूची संग्रहीत करता है जिन्हें नीति में आउटपुट करने की अनुमति कभी नहीं दी जाती है
   • यह नया प्रीट्रेनिंग टेक्स्ट तैयार करता है ताकि बेस मॉडल में सीखने के लिए अधिक डेटा हो
   • यह मानवीय प्राथमिकता तुलनाओं से सीखता है और नीति का मार्गदर्शन करने के लिए आउटपुट स्कोर करता है
3. What does goal misspecification mean in the guide?
   • A model behaves differently when it recognizes a test setting
   • The written objective fails to represent what people actually intend
   • An agent finds a shortcut in a proxy metric while optimizing it
   • A model refuses every task after a safety update
4. Which description matches instrumental convergence in the guide?
   • A user changes their prompt after a refusal
   • A system may seek power or resources because they help achieve many possible goals
   • A test set is held out from training
   • A reward model stores written principles
5. Which modern alignment approach is named in the guide?
   • Credit scoring notices
   • Post-market incident reporting
   • Dataset deduplication
   • संवैधानिक ए.आई
6. "स्केलेबल ओवरसाइट" अनुसंधान क्या हल करने का प्रयास करता है?
   • सटीकता को स्थिर रखते हुए मापदंडों की संख्या को कैसे कम करें
   • मनुष्य ऐसे कार्यों में एआई की निगरानी कैसे कर सकते हैं जिनका सीधे मूल्यांकन करना उनके लिए बहुत कठिन है
   • विलंबता बढ़ाए बिना एक बार में लाखों उपयोगकर्ताओं को एक मॉडल कैसे प्रदान करें
   • एकाधिक डेटा केंद्रों में प्रशिक्षण समूहों को कुशलतापूर्वक कैसे बढ़ाया जाए
7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
   • It improves average responses but does not prove stable behavior under shift or pressure
   • It prevents models from using human preference data
   • It guarantees a model will ignore every written instruction
   • It measures only GPU efficiency
8. Why might an alignment evaluation include tests for evaluation awareness?
   • To measure the number of human raters in training
   • To determine whether a reward model has enough parameters
   • To see whether a model changes behavior when it recognizes a test setting
   • To prove that a system is conscious