مسابقة ماجستير القانون كقاض

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما الذي يشير إليه "LLM-as-a-قاضي"؟
   • استخدام نموذج لغة واحد لتسجيل أو مقارنة مخرجات نموذج آخر
   • استخدام النموذج اللغوي في كتابة الأحكام القضائية
   • نموذج يجيب فقط على الأسئلة بنعم/لا
   • نموذج يرتب نتائج البحث حسب التاريخ
2. ما الفرق بين الحكم النقطي والحكم الزوجي؟
   • Pointwise أسرع. الزوجي أبطأ ولكنه متطابق على خلاف ذلك
   • يقوم Pointwise بتقدير إجابة واحدة وفقًا لقاعدة تقييم؛ الزوجي يختار الأفضل من اثنين
   • Pointwise يعمل فقط مع التعليمات البرمجية؛ الزوجي فقط للنثر
   • لا يوجد فرق حقيقي
3. أي مما يلي يعد تحيزًا موثقًا جيدًا في قضاة LLM؟
   • - يفضل الإجابات المكتوبة بالأحرف الكبيرة
   • يفضل دائما الكلمة الأولى أبجديا
   • تفضيل الإجابات الأطول بغض النظر عن الجودة
   • رفض تصحيح الأسئلة المتعلقة بالتاريخ
4. كيف يتصدى المقيِّمون عادةً لتحيز الموقف في المقارنات الزوجية؟
   • من خلال إظهار إجابة واحدة فقط في كل مرة
   • من خلال وضع الإجابة الأطول دائمًا أولاً
   • عن طريق حذف حقل التبرير
   • عن طريق تشغيل كل مقارنة مرتين مع تبديل الترتيب
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. كيف يمكن للفريق التأكد من أن قاضي LLM يظل متوافقًا مع التفضيلات البشرية؟
   • من خلال عدم التحقق منه مرة أخرى بعد الإعداد
   • من خلال معايرتها مقابل مجموعة ذهبية تحمل علامة بشرية
   • بجعل القاضي يصنف نفسه
   • من خلال استخدامه فقط في عطلات نهاية الأسبوع
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens