Quiz collegato alla guida · Medio Livello

Quiz LLM come giudice

Esaminare la valutazione basata su modelli, le rubriche puntuali e a coppie, giudicare i pregiudizi e la convalida rispetto alle preferenze umane. in pratica.

Percorsi guida correlatiLLM come giudice
Domanda 1 di 8

A cosa si riferisce "LLM-come-giudice"?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. A cosa si riferisce "LLM-come-giudice"?
    • Utilizzare un modello linguistico per valutare o confrontare i risultati di un altro modello
    • Utilizzo di un modello linguistico per scrivere verdetti legali
    • Un modello che risponde solo a domande sì/no
    • Un modello che classifica i risultati della ricerca in base alla data
  2. Qual è la differenza tra il giudizio puntuale e quello a coppie?
    • Pointwise è più veloce; a coppie è più lento ma identico per il resto
    • Valuta puntualmente una risposta rispetto a una rubrica; a coppie sceglie il migliore tra due
    • Pointwise funziona solo per il codice; a coppie solo per la prosa
    • Non c'è alcuna differenza reale
  3. Quale di questi è un pregiudizio ben documentato nei giudici LLM?
    • Preferire risposte scritte in maiuscolo
    • Preferendo sempre la prima parola in ordine alfabetico
    • Privilegiare risposte più lunghe indipendentemente dalla qualità
    • Rifiutarsi di valutare domande sulla storia
  4. In che modo i valutatori contrastano comunemente i bias di posizione nei confronti a coppie?
    • Mostrando solo una risposta alla volta
    • Mettendo sempre per prima la risposta più lunga
    • Eliminando il campo giustificazione
    • Eseguendo ogni confronto due volte con l'ordine scambiato
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Come può un team confermare che un giudice LLM rimane in linea con le preferenze umane?
    • Non controllandolo mai più dopo l'installazione
    • Calibrandolo rispetto a un set d'oro etichettato come umano
    • Facendo valutare il giudice stesso
    • Usandolo solo nei fine settimana
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens