Test LLM-ca-judecător

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. La ce se referă „LLM-ca-judecător”?
   • Utilizarea unui model de limbă pentru a nota sau compara rezultatele unui alt model
   • Utilizarea unui model lingvistic pentru a scrie verdicte legale
   • Un model care răspunde doar la întrebări da/nu
   • Un model care clasifică rezultatele căutării după dată
2. Care este diferența dintre judecarea punctual și perechi?
   • Punctual este mai rapid; perechi este mai lent, dar identic în rest
   • Punctwise notează un răspuns împotriva unei rubrici; perechi alege cel mai bun dintre doi
   • Pointwise funcționează numai pentru cod; perechi numai pentru proză
   • Nu există nicio diferență reală
3. Care dintre acestea este o părtinire bine documentată în judecătorii LLM?
   • Preferând răspunsurile scrise cu toate litere mari
   • Preferând întotdeauna primul cuvânt în ordine alfabetică
   • Favorizarea răspunsurilor mai lungi, indiferent de calitate
   • Refuzul de a nota întrebări despre istorie
4. Cum contracarează de obicei evaluatorii prejudecățile de poziție în comparațiile pe perechi?
   • Afișând un singur răspuns la un moment dat
   • Punând întotdeauna pe primul loc răspunsul mai lung
   • Prin ștergerea câmpului de justificare
   • Rulând fiecare comparație de două ori cu ordinul schimbat
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Cum poate o echipă să confirme că un judecător LLM rămâne aliniat cu preferințele umane?
   • Prin verificarea niciodată după configurare
   • Calibrându-l față de un set de aur etichetat uman
   • Făcând judecătorul însuși nota
   • Folosindu-l doar in weekend
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens