Gids-gekoppelde quiz · Middelmatig Niveau
LLM-als-rechter-quiz
Bekijk modelgebaseerde evaluatie, puntsgewijze en paarsgewijze rubrieken, vooroordelen van beoordelaars en validatie tegen menselijke voorkeuren. in de praktijk.
Vraag 1 van 8
Waar verwijst 'LLM-als-rechter' naar?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waar verwijst 'LLM-als-rechter' naar?
- Het ene taalmodel gebruiken om de resultaten van een ander model te scoren of te vergelijken
- Een taalmodel gebruiken om juridische uitspraken te schrijven
- Een model dat alleen ja/nee-vragen beantwoordt
- Een model dat zoekresultaten rangschikt op datum
- Wat is het verschil tussen puntsgewijs en paarsgewijze beoordeling?
- Puntsgewijs is sneller; paarsgewijs is langzamer maar verder identiek
- Pointwise beoordeelt één antwoord op basis van een rubriek; kiest paarsgewijs de beste van twee
- Pointwise werkt alleen voor code; alleen paarsgewijs voor proza
- Er is geen echt verschil
- Welke van deze is een goed gedocumenteerde vooringenomenheid bij LLM-rechters?
- Geef de voorkeur aan antwoorden die volledig in hoofdletters zijn geschreven
- Geef altijd de voorkeur aan het eerste woord alfabetisch
- De voorkeur geven aan langere antwoorden, ongeacht de kwaliteit
- Weigeren vragen over geschiedenis te beoordelen
- Hoe gaan beoordelaars doorgaans positievooroordelen tegen bij paarsgewijze vergelijkingen?
- Door slechts één antwoord tegelijk te tonen
- Door altijd het langere antwoord voorop te stellen
- Door het verantwoordingsveld te verwijderen
- Door elke vergelijking twee keer uit te voeren, waarbij de bestelling wordt verwisseld
- What evaluation procedure did G-Eval use for generated text?
- Chain-of-thought steps followed by a form-filling evaluation against criteria
- A speaker verification threshold
- A search index with BM25 only
- An image classifier trained on screenshots
- Hoe kan een team bevestigen dat een LLM-rechter op één lijn blijft met menselijke voorkeuren?
- Door het na het instellen nooit meer te controleren
- Door het te kalibreren met een door mensen gelabelde gouden set
- Door de rechter zelf een cijfer te geven
- Door het alleen in het weekend te gebruiken
- What is self-preference bias in LLM-based evaluation?
- A judge always selects the shortest answer
- A judge cannot compare two outputs
- A judge favors outputs generated by its own model or model family
- A judge evaluates only audio signals
- What does G-Eval use to make its discrete score more fine-grained in the reported method?
- The position of the answer in a pairwise comparison
- The judge model’s parameter count only
- A count of citations in the answer
- Probability weights over the candidate score tokens