Gids-gekoppelde quiz · Middelmatig Niveau

LLM-als-rechter-quiz

Bekijk modelgebaseerde evaluatie, puntsgewijze en paarsgewijze rubrieken, vooroordelen van beoordelaars en validatie tegen menselijke voorkeuren. in de praktijk.

Gerelateerde gidspadenLLM als rechter
Vraag 1 van 8

Waar verwijst 'LLM-als-rechter' naar?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waar verwijst 'LLM-als-rechter' naar?
    • Het ene taalmodel gebruiken om de resultaten van een ander model te scoren of te vergelijken
    • Een taalmodel gebruiken om juridische uitspraken te schrijven
    • Een model dat alleen ja/nee-vragen beantwoordt
    • Een model dat zoekresultaten rangschikt op datum
  2. Wat is het verschil tussen puntsgewijs en paarsgewijze beoordeling?
    • Puntsgewijs is sneller; paarsgewijs is langzamer maar verder identiek
    • Pointwise beoordeelt één antwoord op basis van een rubriek; kiest paarsgewijs de beste van twee
    • Pointwise werkt alleen voor code; alleen paarsgewijs voor proza
    • Er is geen echt verschil
  3. Welke van deze is een goed gedocumenteerde vooringenomenheid bij LLM-rechters?
    • Geef de voorkeur aan antwoorden die volledig in hoofdletters zijn geschreven
    • Geef altijd de voorkeur aan het eerste woord alfabetisch
    • De voorkeur geven aan langere antwoorden, ongeacht de kwaliteit
    • Weigeren vragen over geschiedenis te beoordelen
  4. Hoe gaan beoordelaars doorgaans positievooroordelen tegen bij paarsgewijze vergelijkingen?
    • Door slechts één antwoord tegelijk te tonen
    • Door altijd het langere antwoord voorop te stellen
    • Door het verantwoordingsveld te verwijderen
    • Door elke vergelijking twee keer uit te voeren, waarbij de bestelling wordt verwisseld
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Hoe kan een team bevestigen dat een LLM-rechter op één lijn blijft met menselijke voorkeuren?
    • Door het na het instellen nooit meer te controleren
    • Door het te kalibreren met een door mensen gelabelde gouden set
    • Door de rechter zelf een cijfer te geven
    • Door het alleen in het weekend te gebruiken
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens