Valutazioni LLM

Le dimensioni rilevanti possono includere l'accuratezza fattuale, il rispetto delle istruzioni, l'utilizzo del recupero, la robustezza, il costo e il tempo di risposta. Un singolo punteggio di preferenza raramente li cattura tutti.

Punti chiave

• Valutare la configurazione completa dell'applicazione.
• Convalidare i metodi di valutazione stessi.
• Includere l'astensione e il contraddittorio.

Valutare ciò che effettivamente ricevono gli utenti del sistema. Un modello con recupero, strumenti e un prompt particolare può comportarsi in modo diverso dallo stesso modello testato da solo. Conserva queste impostazioni con il record di valutazione, inclusi i limiti sulle chiamate e sui nuovi tentativi dello strumento. Combina controlli deterministici con giudizi che richiedono interpretazione. La corrispondenza esatta funziona per alcuni campi estratti o test eseguibili, mentre un riepilogo potrebbe richiedere una rubrica per prove e omissioni. Scrivere la rubrica in modo che diversi revisori possano applicarla in modo coerente ed esaminare i disaccordi. Un modello può aiutare nella valutazione, ma il suo giudizio è un altro processo di misurazione con possibili distorsioni. Confrontalo con esempi esaminati in modo indipendente, varia l'ordine delle risposte ove appropriato e verifica se premia la verbosità o lo stile più della correttezza. Non considerare un modello che ne approva un altro come una prova indipendente. Includere domande senza risposta, fonti contrastanti, casi con contesto lungo e istruzioni dannose nel materiale recuperato quando rilevanti. Segnalare i risultati per attività e gravità dell'errore. Conservare gli esempi falliti come casi di regressione mentre si aggiorna il materiale trattenuto in modo che la valutazione non diventi un obiettivo memorizzato.

1. Assegna a un modello una politica inventata che affermi solo che i rimborsi sono disponibili entro 14 giorni.
2. Chiedi se la spedizione viene rimborsata. Una risposta sicura non è supportata perché la politica non lo dice.
3. Assegna un punteggio più alto a una risposta che identifica le informazioni mancanti rispetto a una politica inventata, anche se l'invenzione sembra più utile.

Questo caso costruito valuta la gestione delle prove piuttosto che la fluidità.