Quiz collegato alla guida · Medio Livello
Quiz LLM come giudice
Esaminare la valutazione basata su modelli, le rubriche puntuali e a coppie, giudicare i pregiudizi e la convalida rispetto alle preferenze umane. in pratica.
Domanda 1 di 8
A cosa si riferisce "LLM-come-giudice"?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- A cosa si riferisce "LLM-come-giudice"?
- Utilizzare un modello linguistico per valutare o confrontare i risultati di un altro modello
- Utilizzo di un modello linguistico per scrivere verdetti legali
- Un modello che risponde solo a domande sì/no
- Un modello che classifica i risultati della ricerca in base alla data
- Qual è la differenza tra il giudizio puntuale e quello a coppie?
- Pointwise è più veloce; a coppie è più lento ma identico per il resto
- Valuta puntualmente una risposta rispetto a una rubrica; a coppie sceglie il migliore tra due
- Pointwise funziona solo per il codice; a coppie solo per la prosa
- Non c'è alcuna differenza reale
- Quale di questi è un pregiudizio ben documentato nei giudici LLM?
- Preferire risposte scritte in maiuscolo
- Preferendo sempre la prima parola in ordine alfabetico
- Privilegiare risposte più lunghe indipendentemente dalla qualità
- Rifiutarsi di valutare domande sulla storia
- In che modo i valutatori contrastano comunemente i bias di posizione nei confronti a coppie?
- Mostrando solo una risposta alla volta
- Mettendo sempre per prima la risposta più lunga
- Eliminando il campo giustificazione
- Eseguendo ogni confronto due volte con l'ordine scambiato
- What evaluation procedure did G-Eval use for generated text?
- Chain-of-thought steps followed by a form-filling evaluation against criteria
- A speaker verification threshold
- A search index with BM25 only
- An image classifier trained on screenshots
- Come può un team confermare che un giudice LLM rimane in linea con le preferenze umane?
- Non controllandolo mai più dopo l'installazione
- Calibrandolo rispetto a un set d'oro etichettato come umano
- Facendo valutare il giudice stesso
- Usandolo solo nei fine settimana
- What is self-preference bias in LLM-based evaluation?
- A judge always selects the shortest answer
- A judge cannot compare two outputs
- A judge favors outputs generated by its own model or model family
- A judge evaluates only audio signals
- What does G-Eval use to make its discrete score more fine-grained in the reported method?
- The position of the answer in a pairwise comparison
- The judge model’s parameter count only
- A count of citations in the answer
- Probability weights over the candidate score tokens