Mit dem Guide verknüpftes Quiz · Mittel Ebene

LLM-als-Richter-Quiz

Überprüfen Sie die modellbasierte Bewertung, punkt- und paarweise Rubriken, beurteilen Sie Vorurteile und validieren Sie sie anhand menschlicher Präferenzen. in der Praxis.

Verwandte FührungspfadeLLM als Richter
Frage 1 von 8

Worauf bezieht sich „LLM-als-Richter“?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Worauf bezieht sich „LLM-als-Richter“?
    • Verwenden eines Sprachmodells zum Bewerten oder Vergleichen der Ergebnisse eines anderen Modells
    • Verwendung eines Sprachmodells zum Verfassen von Rechtsurteilen
    • Ein Modell, das nur Ja/Nein-Fragen beantwortet
    • Ein Modell, das Suchergebnisse nach Datum ordnet
  2. Was ist der Unterschied zwischen punktweiser und paarweiser Beurteilung?
    • Punktweise ist schneller; paarweise ist langsamer, aber ansonsten identisch
    • Punktweise bewertet eine Antwort anhand einer Rubrik; Paarweise wählt den besseren von zwei aus
    • Pointwise funktioniert nur für Code; paarweise nur für Prosa
    • Es gibt keinen wirklichen Unterschied
  3. Welche davon ist eine gut dokumentierte Voreingenommenheit bei LLM-RichterInnen?
    • Bevorzugen Sie Antworten in Großbuchstaben
    • Ich bevorzuge alphabetisch immer das erste Wort
    • Bevorzugen Sie längere Antworten unabhängig von der Qualität
    • Weigert sich, Fragen zur Geschichte zu benoten
  4. Wie wirken Bewerter üblicherweise Positionsverzerrungen bei paarweisen Vergleichen entgegen?
    • Indem jeweils nur eine Antwort angezeigt wird
    • Indem Sie immer die längere Antwort an die erste Stelle setzen
    • Durch Löschen des Begründungsfeldes
    • Durch zweimaliges Durchführen jedes Vergleichs mit vertauschter Reihenfolge
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Wie kann ein Team sicherstellen, dass ein LLM-Richter sich weiterhin an den menschlichen Vorlieben orientiert?
    • Indem Sie es nach der Einrichtung nie wieder überprüfen
    • Durch die Kalibrierung mit einem von Menschen beschrifteten Goldsatz
    • Indem der Richter sich selbst eine Note gibt
    • Indem man es nur am Wochenende nutzt
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens