एलएलएम-ए-जज प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. 'एलएलएम-ए-जज' का तात्पर्य क्या है?
   • दूसरे मॉडल के आउटपुट को स्कोर करने या तुलना करने के लिए एक भाषा मॉडल का उपयोग करना
   • कानूनी फैसले लिखने के लिए भाषा मॉडल का उपयोग करना
   • एक मॉडल जो केवल हां/नहीं प्रश्नों का उत्तर देता है
   • एक मॉडल जो खोज परिणामों को तिथि के अनुसार रैंक करता है
2. बिंदुवार और जोड़ीवार मूल्यांकन के बीच क्या अंतर है?
   • बिंदुवार तेज़ है; जोड़ीवार धीमी है लेकिन अन्यथा समान है
   • रूब्रिक के विरुद्ध बिंदुवार एक उत्तर को ग्रेड किया जाता है; जोड़ीवार दो में से बेहतर को चुनता है
   • प्वाइंटवाइज़ केवल कोड के लिए काम करता है; जोड़ीवार केवल गद्य के लिए
   • कोई वास्तविक अंतर नहीं है
3. इनमें से कौन एलएलएम न्यायाधीशों में एक अच्छी तरह से प्रलेखित पूर्वाग्रह है?
   • सभी बड़े अक्षरों में लिखे गए उत्तरों को प्राथमिकता दें
   • हमेशा पहले शब्द को वर्णानुक्रम के अनुसार प्राथमिकता देना
   • गुणवत्ता की परवाह किए बिना लंबे उत्तरों को प्राथमिकता देना
   • इतिहास के बारे में प्रश्नों को ग्रेड देने से इंकार करना
4. जोड़ीवार तुलनाओं में मूल्यांकनकर्ता आमतौर पर स्थिति पूर्वाग्रह का प्रतिकार कैसे करते हैं?
   • एक समय में केवल एक ही उत्तर दिखाकर
   • हमेशा लंबा उत्तर पहले रखकर
   • औचित्य फ़ील्ड को हटाकर
   • ऑर्डर स्वैप के साथ प्रत्येक तुलना को दो बार चलाकर
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. कोई टीम कैसे पुष्टि कर सकती है कि एलएलएम जज मानवीय प्राथमिकताओं के अनुरूप रहता है?
   • सेटअप के बाद इसे दोबारा कभी न जांचें
   • इसे मानव-लेबल वाले सोने के सेट के विरुद्ध अंशांकित करके
   • जज को ग्रेड ही बनाकर
   • इसका प्रयोग केवल सप्ताहांत पर ही करें
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens