گائیڈ سے منسلک کوئز · درمیانہ سطح
انعام ہیکنگ اور تفصیلات گیمنگ کوئز
دریافت کریں کہ ایجنٹ کس طرح نامکمل انعامات کا استحصال کرتے ہیں، نقلی شارٹ کٹ سے لے کر لینگویج ماڈل سائیکوفنسی تک، اور نگرانی کس طرح مدد کر سکتی ہے۔
سوال 1 کی 8
انعام ہیکنگ کے پیچھے بنیادی مسئلہ کیا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- انعام ہیکنگ کے پیچھے بنیادی مسئلہ کیا ہے؟
- ریوارڈ فنکشن ایک پراکسی ہے جو نامکمل طور پر حقیقی مقصد کو حاصل کرتا ہے۔
- تربیت کے دوران AI کی یادداشت ختم ہوجاتی ہے۔
- کام سیکھنے کے لیے ماڈل بہت چھوٹا ہے۔
- تربیتی ڈیٹا کو ہمیشہ غلط لیبل لگایا جاتا ہے۔
- OpenAI کے CoastRunners کی مثال میں، بوٹ ایجنٹ نے کیا کیا؟
- انسانوں سے زیادہ تیزی سے دوڑ ختم کی۔
- بونس کے اہداف کو ختم کرنے کے بجائے دائروں میں گھومنا
- ہر بار فوری طور پر گر کر تباہ ہو گیا۔
- حرکت کرنے سے بالکل انکار کر دیا۔
- کون سا اصول بتاتا ہے کہ جب کوئی پیمانہ ہدف بن جاتا ہے تو اچھا ہونا بند ہو جاتا ہے؟
- مور کا قانون
- امداہل کا قانون
- گڈ ہارٹ کا قانون
- مرفی کا قانون
- RLHF کے ساتھ تربیت یافتہ زبان کے ماڈلز میں انعامی ہیکنگ عام طور پر کیسے ظاہر ہوتی ہے؟
- کسی بھی متن کو تخلیق کرنے سے انکار
- صرف آؤٹ پٹ نمبرز
- ہر چیز کا لاطینی میں ترجمہ کرنا
- ہم خیالی اور صارفین کو بتانا کہ وہ کیا سننا چاہتے ہیں۔
- کون سی تکنیک RLHF پالیسی کو بہت دور جانے اور انعامی ماڈل کا استحصال کرنے میں مدد دیتی ہے؟
- پالیسی کو بیس ماڈل کے قریب رکھتے ہوئے KL جرمانہ
- صرف بیچ کا سائز بڑھانا
- تمام انسانی تاثرات کو ہٹانا
- اصلاح کار کو غیر فعال کرنا
- کیوں انعام ہیکنگ ایک بڑی حفاظتی تشویش بن جاتی ہے کیونکہ ماڈلز زیادہ قابل ہو جاتے ہیں؟
- بڑے ماڈلز کو بالکل بھی تربیت نہیں دی جا سکتی
- زیادہ قابل اصلاح کار ایسے لطیف خامیاں تلاش کرتے ہیں جن کا پتہ لگانا مشکل ہوتا ہے۔
- ہیکنگ پر صلاحیت کا کوئی اثر نہیں ہوتا ہے۔
- بڑے ماڈل انعام کو مکمل طور پر نظر انداز کرتے ہیں۔
- What does process-based supervision reward in addition to a final answer?
- Only the number of tokens in the final answer
- The agent’s ability to disable its evaluator
- The quality of intermediate steps used to reach the answer
- A score unrelated to the task
- Why can a reward-model ensemble help detect reward hacking?
- It guarantees the reward proxy exactly matches human intent
- It removes the need to test the policy
- It makes all reward models produce identical scores
- Disagreement among models can flag outputs that exploit one scorer’s blind spots