انسانی فیڈ بیک کوئز سے کمک سیکھنا

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. زبان کے ماڈل کے لیے RLHF کا بنیادی مقصد کیا ہے؟
   • مدد اور حفاظت کے لیے اس کے نتائج کو انسانی ترجیحات کے ساتھ ہم آہنگ کرنا
   • ماڈل کے پیرامیٹر کا شمار بڑھانے کے لیے
   • تیز تر اندازہ لگانے کے لیے ماڈل کو سکیڑنا
   • ماڈل کو دوسری زبانوں میں ترجمہ کرنے کے لیے
2. RLHF میں انعام کا ماڈل دراصل کیا کرنا سیکھتا ہے؟
   • صارفین کے لیے حتمی جوابات تیار کریں۔
   • اشارے کو انعامی کرنسی میں ترجمہ کریں۔
   • ایک اسکیلر اسکور تفویض کریں جس سے ظاہر ہوتا ہے کہ انسان دیے گئے جواب کو کتنا ترجیح دیں گے۔
   • ماڈل کی سیکھنے کی شرح کا فیصلہ کریں۔
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. انعامی ماڈل کے لیے عام طور پر ترجیحی ڈیٹا کیسے جمع کیا جاتا ہے؟
   • انسان شروع سے بالکل نئے جوابات لکھتے ہیں۔
   • ماڈل اپنے اعتماد کی درجہ بندی کرتا ہے۔
   • بے ترتیب لیبل خود بخود تفویض کیے جاتے ہیں۔
   • انسان ایک ہی پرامپٹ سے دو ماڈل ردعمل کا موازنہ کرتے ہیں اور بہتر کا انتخاب کرتے ہیں۔
5. کلاسک RLHF پائپ لائن پر DPO (براہ راست ترجیحی اصلاح) کیا فائدہ پیش کرتا ہے؟
   • اسے بالکل بھی ڈیٹا کی ضرورت نہیں ہے۔
   • یہ ضمانت دیتا ہے کہ ماڈل کبھی غلط نہیں ہو سکتا
   • یہ ایک علیحدہ ریوارڈ ماڈل اور پی پی او لوپ کو چھوڑ کر، ترجیحی جوڑوں سے براہ راست پالیسی کو بہتر بناتا ہے۔
   • یہ پہلے سے تربیت کی ضرورت کو ختم کرتا ہے۔
6. RLAIF اور آئینی AI میں، زیادہ تر رائے کہاں سے آتی ہے؟
   • انسانی لیبلنگ کو کم کرتے ہوئے ردعمل پیدا کرنے یا تنقید کرنے والے AI ماڈل سے
   • صرف ادا شدہ انسانی تشریح کرنے والوں سے
   • بے ترتیب نمبر جنریٹرز سے
   • ماڈل کے پری ٹریننگ کارپس سے براہ راست
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression