Quiz LLM jako sędzia

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co oznacza „LLM-jako-sędzia”?
   • Używanie jednego modelu językowego do oceniania lub porównywania wyników innego modelu
   • Wykorzystanie modelu językowego do pisania orzeczeń prawnych
   • Model, który odpowiada tylko na pytania tak/nie
   • Model porządkujący wyniki wyszukiwania według daty
2. Jaka jest różnica między ocenianiem punktowym a ocenianiem parami?
   • Punktowo jest szybszy; pairwise jest wolniejszy, ale poza tym identyczny
   • Punktowo ocenia jedną odpowiedź w rubryce; parami wybiera lepszy z dwóch
   • Pointwise działa tylko w przypadku kodu; parami tylko dla prozy
   • Nie ma prawdziwej różnicy
3. Które z nich jest dobrze udokumentowaną stronniczością sędziów LLM?
   • Preferuję odpowiedzi pisane wielkimi literami
   • Zawsze preferuję pierwsze słowo w kolejności alfabetycznej
   • Preferowanie dłuższych odpowiedzi niezależnie od ich jakości
   • Odmowa oceniania pytań z historii
4. W jaki sposób oceniający zwykle przeciwdziałają stronniczości pozycji w porównaniach parami?
   • Pokazując tylko jedną odpowiedź na raz
   • Zawsze umieszczając dłuższą odpowiedź na pierwszym miejscu
   • Poprzez usunięcie pola uzasadnienia
   • Uruchamiając każde porównanie dwukrotnie ze zmienioną kolejnością
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. W jaki sposób zespół może potwierdzić, że sędzia LLM przestrzega ludzkich preferencji?
   • Nigdy więcej nie sprawdzając tego po konfiguracji
   • Kalibrując go względem złotego zestawu z etykietą człowieka
   • Poprzez samodzielne ocenianie sędziego
   • Używając go tylko w weekendy
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens