Il prossimoProssima guida
Valutazione a coppie ed Elo
Tecnico
GUIDA ALL'AI linguistica
La valutazione LLM misura un modello linguistico o un'applicazione rispetto a compiti definiti e condizioni di fallimento.
Ascolta questa guidaNarrato dall'IA · ~2 min
Le dimensioni rilevanti possono includere l'accuratezza fattuale, il rispetto delle istruzioni, l'utilizzo del recupero, la robustezza, il costo e il tempo di risposta. Un singolo punteggio di preferenza raramente li cattura tutti.
Valutare ciò che effettivamente ricevono gli utenti del sistema. Un modello con recupero, strumenti e un prompt particolare può comportarsi in modo diverso dallo stesso modello testato da solo. Conserva queste impostazioni con il record di valutazione, inclusi i limiti sulle chiamate e sui nuovi tentativi dello strumento. Combina controlli deterministici con giudizi che richiedono interpretazione. La corrispondenza esatta funziona per alcuni campi estratti o test eseguibili, mentre un riepilogo potrebbe richiedere una rubrica per prove e omissioni. Scrivere la rubrica in modo che diversi revisori possano applicarla in modo coerente ed esaminare i disaccordi. Un modello può aiutare nella valutazione, ma il suo giudizio è un altro processo di misurazione con possibili distorsioni. Confrontalo con esempi esaminati in modo indipendente, varia l'ordine delle risposte ove appropriato e verifica se premia la verbosità o lo stile più della correttezza. Non considerare un modello che ne approva un altro come una prova indipendente. Includere domande senza risposta, fonti contrastanti, casi con contesto lungo e istruzioni dannose nel materiale recuperato quando rilevanti. Segnalare i risultati per attività e gravità dell'errore. Conservare gli esempi falliti come casi di regressione mentre si aggiorna il materiale trattenuto in modo che la valutazione non diventi un obiettivo memorizzato.
04Esempio lavorato
Assegna a un modello una politica inventata che affermi solo che i rimborsi sono disponibili entro 14 giorni.
Chiedi se la spedizione viene rimborsata. Una risposta sicura non è supportata perché la politica non lo dice.
Assegna un punteggio più alto a una risposta che identifica le informazioni mancanti rispetto a una politica inventata, anche se l'invenzione sembra più utile.
Cosa mostra
Questo caso costruito valuta la gestione delle prove piuttosto che la fluidità.
Valuta una risposta documentale in base al fatto che ogni affermazione sia supportata dal passaggio fornito.
Verificare il codice generato attraverso test comportamentali significativi e revisione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Può aiutare a ridimensionare alcuni controlli, ma la sua affidabilità necessita di convalida per la rubrica e il dominio. Casi consequenziali o ambigui possono richiedere una revisione indipendente.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Valutazione a coppie ed Elo
Tecnico