گائیڈ سے منسلک کوئز · درمیانہ سطح

ترجیحی اصلاحی کوئز میں طوالت نارملائزیشن

اس بات کا جائزہ لیں کہ ترجیحی ٹیوننگ کے مقاصد کس طرح ردعمل کی لمبائی کو ہینڈل کرتے ہیں، کیوں SimPO ٹوکن سکور کو معمول بناتا ہے، اور کس طرح مختصر جوابات کا جائزہ لیا جاتا ہے۔

متعلقہ گائیڈ کے راستےترجیحی اصلاح میں لمبائی نارملائزیشن

سوال 1 کی 8

ڈی پی او میں لمبائی کو معمول پر لانے کا بنیادی مقصد کس ناپسندیدہ رویے کو روکنا ہے؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

ڈی پی او میں لمبائی کو معمول پر لانے کا بنیادی مقصد کس ناپسندیدہ رویے کو روکنا ہے؟
- اصل معیار سے قطع نظر طویل جوابات کے حق میں ماڈلز
- ماڈلز سوالوں کے جواب دینے سے انکاری ہیں۔
- حقیقتوں کو دھوکہ دینے والے ماڈلز
- ماڈلز بہت آہستہ جواب دے رہے ہیں۔
معیاری DPO کا مضمر انعام جواب کی لمبائی کے ساتھ کیوں بڑھتا ہے؟
- یہ درجہ حرارت سے اجر کو ضرب دیتا ہے۔
- یہ فی ٹوکن لاگ امکانی فرق کا مجموعہ ہے۔
- یہ فی جملہ ایک مقررہ بونس استعمال کرتا ہے۔
- یہ مختصر جوابات کو واضح طور پر سزا دیتا ہے۔
سمپو لمبائی کے تعصب کو کیسے حل کرتا ہے؟
- یہ حوالہ ماڈل کے وزن کو دوگنا کرتا ہے۔
- یہ تمام جوابات کو ایک مقررہ طوالت تک چھوٹا کرتا ہے۔
- یہ اوسط فی ٹوکن لاگ امکان کو بطور انعام استعمال کرتا ہے۔
- یہ ترجیحی ڈیٹا کو مکمل طور پر ہٹا دیتا ہے۔
سمپو اور معیاری ڈی پی او کے درمیان ایک قابل ذکر ساختی فرق یہ ہے کہ سمپو:
- دو گنا زیادہ تربیتی ڈیٹا کی ضرورت ہے۔
- صرف تصاویر پر کام کرتا ہے۔
- گریڈینٹ ڈیسنٹ کو غیر فعال کرتا ہے۔
- علیحدہ حوالہ ماڈل استعمال نہیں کرتا ہے۔
کون سی تشخیصی مشق اس بات کی تصدیق کرنے میں مدد کرتی ہے کہ ماڈل کی لمبائی کے بجائے معیار میں بہتری آئی ہے؟
- طوالت پر قابو پانے والی جیت کی شرح کی اطلاع دینا
- کل پیرامیٹرز کی گنتی
- GPU درجہ حرارت کی پیمائش
- بیچ کا سائز بڑھانا
Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail