Quiz collegato alla guida · Medio Livello

Creazione di un quiz sul set di dati di valutazione LLM

Test che utilizzano casi reali, risposte dorate rispetto a rubriche, copertura di casi limite e dimensionamento di un set di valutazione in modo che le differenze di punteggio siano significative.

Domanda 1 di 8

Cosa consiglia la guida come migliore fonte di partenza per i casi di valutazione?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa consiglia la guida come migliore fonte di partenza per i casi di valutazione?
    • Solo domande sintetiche generate da LLM
    • Classifiche di riferimento pubbliche
    • Testo casuale prelevato da Internet
    • Utilizzo reale, come registri, ticket di supporto e query di ricerca
  2. Quando una rubrica è più appropriata di una singola risposta d'oro?
    • Per un'attività di classificazione con etichette fisse
    • Per compiti a tempo indeterminato in cui possono essere corrette molte formulazioni diverse
    • Per estrarre un numero esatto di fattura
    • Una rubrica non è mai più appropriata
  3. Quale di questi è un criterio di rubrica ben scritto?
    • È utile
    • Sembra naturale
    • Menziona la scadenza per il rimborso
    • È di alta qualità
  4. Con 100 casi di superamento/fallimento e un tasso di superamento vicino all'80%, cosa dice la guida riguardo al margine di errore?
    • Si tratta di più o meno 8 punti percentuali, quindi un miglioramento di due punti sembra rumore
    • Si tratta di più o meno 0,1 punti percentuali
    • È esattamente zero
    • Si tratta di più o meno 50 punti percentuali
  5. Qual è lo scopo di una fetta di regressione?
    • Per eliminare automaticamente i casi obsoleti
    • Per accelerare le risposte del modello
    • Per mantenere gli errori passati nel set in modo che le correzioni rimangano testate
    • Addestrare il modello sui propri errori
  6. Cosa dovresti fare prima di affidarti a un giudice LLM per valutare gli elementi della rubrica?
    • Alza la temperatura del giudice
    • Togliere la rubrica in modo che il giudice possa decidere liberamente
    • Metti alla prova il giudice su un singolo caso
    • Chiedi alle persone di etichettare un campione e misurare quanto spesso il giudice è d'accordo con loro
  7. Perché mantenere una parte del set di dati trattenuta su cui non ti sintonizzi?
    • Per evitare un adattamento eccessivo delle richieste al set di test
    • Per risparmiare spazio di archiviazione
    • Perché le normative lo richiedono
    • Per ridurre la latenza
  8. Perché i confronti accoppiati sugli stessi casi sono utili quando si confrontano due versioni?
    • Eliminano la necessità di qualsiasi selezionatore
    • Di solito hanno bisogno di meno esempi rispetto al confronto di campioni indipendenti
    • Rimuovono tutto il non determinismo dagli output del modello
    • Garantiscono un punteggio perfetto