ایل ایل ایم بطور جج

It lets teams test prompts and models at scale, but it carries real biases that must be controlled.

اوپن اینڈڈ ٹیکسٹ کا اندازہ لگانا مشکل ہے: شاذ و نادر ہی ایک درست جواب ہوتا ہے، اور ہزاروں جوابات کی درجہ بندی کرنے کے لیے انسانوں کی خدمات حاصل کرنا سست اور مہنگا ہے۔ LLM-بطور-جج ایک قابل ماڈل کو جانچنے والے کے طور پر کام کرنے کی ترغیب دے کر اس سے نمٹتا ہے۔ یہ روبرک (پوائنٹ وائز اسکورنگ) کے مقابلے میں ایک ہی جواب کی درجہ بندی کر سکتا ہے یا دو جوابات میں سے بہتر کو منتخب کر سکتا ہے (جوڑا موازنہ)۔ یہ خودکار بینچ مارکس، فوری تبدیلیوں کے لیے ریگریشن ٹیسٹ، اور تربیت کے لیے بڑے پیمانے پر ترجیحی ڈیٹا کو طاقت دیتا ہے۔ گرفت یہ ہے کہ ججوں کے پاس اچھی طرح سے دستاویزی تعصبات ہوتے ہیں: وہ لمبے جوابات کو ترجیح دیتے ہیں، ایسے جوابات کو ترجیح دیتے ہیں جو ان کے اپنے تحریری انداز سے مماثل ہوں، اور اس ترتیب سے متاثر ہوسکتے ہیں جس میں اختیارات پیش کیے جاتے ہیں۔ سنجیدگی سے جائزے ان کا مقابلہ بے ترتیب پوزیشنوں، واضح روبرکس، اور انسانی درجہ بندی کے خلاف وقتاً فوقتاً جانچ پڑتال کے ساتھ کرتے ہیں تاکہ یہ تصدیق کی جا سکے کہ جج منسلک رہتا ہے۔