ایل ایل ایم بطور جج کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. 'ایل ایل ایم بطور جج' کیا مراد ہے؟
   • دوسرے ماڈل کے آؤٹ پٹس کو اسکور کرنے یا موازنہ کرنے کے لیے ایک زبان کے ماڈل کا استعمال کرنا
   • قانونی فیصلے لکھنے کے لیے زبان کا ماڈل استعمال کرنا
   • ایک ماڈل جو صرف ہاں/نہیں سوالات کا جواب دیتا ہے۔
   • ایک ماڈل جو تاریخ کے لحاظ سے تلاش کے نتائج کی درجہ بندی کرتا ہے۔
2. پوائنٹ وائز اور جوڑے کے مطابق فیصلہ کرنے میں کیا فرق ہے؟
   • نقطہ کے لحاظ سے تیز ہے؛ pairwise سست ہے لیکن دوسری صورت میں ایک جیسی ہے۔
   • پوائنٹ وار گریڈز ایک جواب کو روبرک کے مقابلے میں؛ جوڑے کے لحاظ سے دو میں سے بہتر کو چنتا ہے۔
   • Pointwise صرف کوڈ کے لیے کام کرتا ہے۔ جوڑے کے لحاظ سے صرف نثر کے لیے
   • کوئی حقیقی فرق نہیں ہے۔
3. ایل ایل ایم ججوں میں ان میں سے کون سا دستاویزی تعصب ہے؟
   • تمام بڑے حروف میں لکھے گئے جوابات کو ترجیح دینا
   • ہمیشہ حروف تہجی کے لحاظ سے پہلے لفظ کو ترجیح دینا
   • معیار سے قطع نظر طویل جوابات کی حمایت کرنا
   • تاریخ کے بارے میں گریڈ کے سوالات سے انکار
4. تشخیص کار عام طور پر جوڑے کے مقابلے میں پوزیشن کے تعصب کا مقابلہ کیسے کرتے ہیں؟
   • ایک وقت میں صرف ایک جواب دکھا کر
   • ہمیشہ طویل جواب کو پہلے رکھ کر
   • جواز والے خانے کو حذف کرکے
   • تبدیل شدہ آرڈر کے ساتھ ہر ایک موازنہ کو دو بار چلا کر
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. ایک ٹیم ایل ایل ایم جج کے انسانی ترجیحات کے مطابق رہنے کی تصدیق کیسے کر سکتی ہے؟
   • سیٹ اپ کے بعد اسے دوبارہ کبھی چیک نہ کرکے
   • اسے انسانی لیبل والے سونے کے سیٹ کے خلاف کیلیبریٹ کرکے
   • خود جج کو گریڈ بنا کر
   • اسے صرف اختتام ہفتہ پر استعمال کرنے سے
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens