گائیڈ سے منسلک کوئز · درمیانہ سطح
براہ راست ترجیحی اصلاح کوئز
ڈی پی او ترجیحی جوڑوں، حوالہ جاتی پالیسی، مضمر انعامات، بیٹا، مختلف حالتوں اور براہ راست ترجیحی تربیت کی حدود کا جائزہ لیں۔
سوال 1 کی 8
روایتی RLHF کے مقابلے ڈی پی او کیا ختم کرتا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- روایتی RLHF کے مقابلے ڈی پی او کیا ختم کرتا ہے؟
- علیحدہ ریوارڈ ماڈل اور کمک سیکھنے کا لوپ
- کسی بھی انسانی ترجیحی ڈیٹا کی ضرورت
- بنیادی پہلے سے تربیت یافتہ زبان کا ماڈل
- لاگ امکانات کا استعمال
- ایک واحد DPO ٹریننگ مثال کس ڈیٹا پر مشتمل ہے؟
- ایک فوری اور ایک عددی انعام سکور
- ایک منتخب اور مسترد شدہ جواب کے ساتھ ایک اشارہ
- ایک فوری اور ایک ہی درست جواب
- صرف ایک انعامی ماڈل کا آؤٹ پٹ
- ڈی پی او میں ریفرنس ماڈل کیا کردار ادا کرتا ہے؟
- یہ مسترد شدہ جوابات پیدا کرتا ہے۔
- یہ واضح انعامات کے ساتھ جوابات اسکور کرتا ہے۔
- یہ منجمد بنیادی لائن ہے جس کے خلاف پالیسی کو بڑھنے کو محدود کرنے کے لیے ماپا جاتا ہے۔
- یہ تربیتی ڈیٹا کی جگہ لے لیتا ہے۔
- How does the DPO loss use a labeled preference pair?
- It regresses both responses to the same scalar target
- It trains a separate value critic to predict token-level returns
- It maximizes the rejected response without a reference
- It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
- ڈی پی او میں بیٹا (درجہ حرارت) پیرامیٹر کیا کنٹرول کرتا ہے؟
- پالیسی کو کتنی مضبوطی سے حوالہ ماڈل کے قریب رکھا گیا ہے۔
- اصلاح کار کی سیکھنے کی شرح
- ترجیحی جوڑوں کی تعداد
- الفاظ کا حجم
- Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
- PPO, which requires a value critic for every label
- KTO, a prospect-theoretic objective for binary desirability feedback
- DARTS, which searches differentiable network cells
- Beam search, which changes model weights from rankings
- In a standard DPO preference example, which response is preferred?
- The response with more tokens by definition
- The response with the lowest reference likelihood
- The response selected by the preference labeler for the given prompt
- A random response unrelated to the prompt
- In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
- A separately trained scalar reward-model head
- A human-written point score for each token
- The average sequence length of preference data
- Beta times the policy/reference log-probability ratio