Quiz collegato alla guida · Medio Livello

Quiz sulle valutazioni LLM

Valuta i criteri delle attività, le configurazioni implementate, le rubriche di punteggio, la convalida dei giudici, i casi difficili, la gravità degli errori e gli esempi di regressione.

Percorsi guida correlatiValutazioni LLM
Domanda 1 di 8

Cosa dovrebbe misurare una valutazione LLM?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa dovrebbe misurare una valutazione LLM?
    • Un compito definito e le relative condizioni di fallimento
    • Solo se la risposta sembra fluente
    • I parametri del modello contano da soli
    • Se un benchmark è popolare
  2. Perché valutare la configurazione di sistema effettivamente ricevuta dagli utenti?
    • Il modello base non può produrre testo
    • Le richieste, il recupero, gli strumenti e i limiti di chiamata possono modificare il comportamento
    • L'applicazione ottiene sempre un punteggio più alto
    • Non è possibile testare un sistema distribuito
  3. Quando la corrispondenza esatta può costituire un controllo di valutazione appropriato?
    • Per ogni risposta aperta
    • Solo quando i revisori non sono d'accordo
    • Per alcuni campi estratti o test eseguibili
    • To measure response cost
  4. What helps different reviewers apply an interpretive rubric consistently?
    • Hide the scoring criteria
    • Use a single preference score
    • Remove examples that are difficult to judge
    • Write the rubric clearly and examine reviewer disagreements
  5. How should a team validate a model used to grade outputs?
    • Check it against independently reviewed examples and inspect order or style effects
    • Treat its score as independent proof
    • Ask the same model to approve itself
    • Use only its average score
  6. Which cases may be useful to include when relevant to the application?
    • Only short questions with one obvious answer
    • Unanswerable questions, conflicting sources, long-context cases, and malicious retrieved instructions
    • Only prompts used during development
    • No difficult examples
  7. How should evaluation results be reported?
    • As one preference number without context
    • Only by model size
    • By task and error severity
    • As a claim that uncertainty is eliminated
  8. What should a team do with failed examples?
    • Discard them after calculating a score
    • Add them to prompts until every case passes
    • Treat them as proof of general performance
    • Retain them as regression cases and refresh held-out material over time