Quiz collegato alla guida · Medio Livello
Quiz sulle valutazioni LLM
Valuta i criteri delle attività, le configurazioni implementate, le rubriche di punteggio, la convalida dei giudici, i casi difficili, la gravità degli errori e gli esempi di regressione.
Domanda 1 di 8
Cosa dovrebbe misurare una valutazione LLM?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa dovrebbe misurare una valutazione LLM?
- Un compito definito e le relative condizioni di fallimento
- Solo se la risposta sembra fluente
- I parametri del modello contano da soli
- Se un benchmark è popolare
- Perché valutare la configurazione di sistema effettivamente ricevuta dagli utenti?
- Il modello base non può produrre testo
- Le richieste, il recupero, gli strumenti e i limiti di chiamata possono modificare il comportamento
- L'applicazione ottiene sempre un punteggio più alto
- Non è possibile testare un sistema distribuito
- Quando la corrispondenza esatta può costituire un controllo di valutazione appropriato?
- Per ogni risposta aperta
- Solo quando i revisori non sono d'accordo
- Per alcuni campi estratti o test eseguibili
- To measure response cost
- What helps different reviewers apply an interpretive rubric consistently?
- Hide the scoring criteria
- Use a single preference score
- Remove examples that are difficult to judge
- Write the rubric clearly and examine reviewer disagreements
- How should a team validate a model used to grade outputs?
- Check it against independently reviewed examples and inspect order or style effects
- Treat its score as independent proof
- Ask the same model to approve itself
- Use only its average score
- Which cases may be useful to include when relevant to the application?
- Only short questions with one obvious answer
- Unanswerable questions, conflicting sources, long-context cases, and malicious retrieved instructions
- Only prompts used during development
- No difficult examples
- How should evaluation results be reported?
- As one preference number without context
- Only by model size
- By task and error severity
- As a claim that uncertainty is eliminated
- What should a team do with failed examples?
- Discard them after calculating a score
- Add them to prompts until every case passes
- Treat them as proof of general performance
- Retain them as regression cases and refresh held-out material over time