प्रत्यक्ष वरीयता अनुकूलन प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. पारंपरिक आरएलएचएफ की तुलना में डीपीओ क्या समाप्त करता है?
   • अलग इनाम मॉडल और सुदृढीकरण सीखने का लूप
   • किसी मानव प्राथमिकता डेटा की आवश्यकता
   • आधार पूर्व-प्रशिक्षित भाषा मॉडल
   • लॉग-संभावनाओं का उपयोग
2. एकल डीपीओ प्रशिक्षण उदाहरण में कौन सा डेटा शामिल है?
   • एक संकेत और एक संख्यात्मक इनाम स्कोर
   • चयनित और अस्वीकृत प्रतिक्रिया वाला एक संकेत
   • एक संकेत और एक ही सही उत्तर
   • केवल एक इनाम मॉडल का आउटपुट
3. डीपीओ में संदर्भ मॉडल क्या भूमिका निभाता है?
   • यह अस्वीकृत प्रतिक्रियाएँ उत्पन्न करता है
   • यह स्पष्ट पुरस्कारों के साथ प्रतिक्रियाएँ देता है
   • यह स्थिर आधार रेखा है जिसके आधार पर नीति को बहाव को सीमित करने के लिए मापा जाता है
   • यह प्रशिक्षण डेटा को प्रतिस्थापित करता है
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. डीपीओ में बीटा (तापमान) पैरामीटर क्या नियंत्रित करता है?
   • नीति को संदर्भ मॉडल के करीब कितनी मजबूती से रखा गया है
   • अनुकूलक की सीखने की दर
   • वरीयता जोड़ियों की संख्या
   • शब्दावली का आकार
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio