GUIDA TECNICA

Metriche di valutazione RAG e RAGAS

La valutazione RAG assegna un punteggio a un sistema di generazione aumentata dal recupero separatamente sul recupero e sulla generazione, più comunemente con quattro metriche: fedeltà, pertinenza della risposta, precisione del contesto e richiamo del contesto.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina3 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro delle metriche di valutazione RAG e RAGAS
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

RAGAS è un framework open source che calcola questi parametri, utilizzando in gran parte un LLM come giudice. I punteggi separati sono importanti perché mostrano se una risposta sbagliata è stata ottenuta recuperando i passaggi sbagliati o abusando di quelli giusti.

Immersione profonda

Un sistema RAG può fallire in due punti: il recupero può recuperare i passaggi sbagliati, oppure la generazione può ignorare o distorcere quelli giusti. Un singolo punteggio di qualità complessivo nasconde ciò che è accaduto, quindi la valutazione RAG suddivide la pipeline in parti misurabili. RAGAS, un framework open source introdotto in un articolo del 2023 da Es e colleghi, ha reso popolare una serie di parametri fondamentali che coprono entrambe le metà. La fedeltà chiede se ogni affermazione nella risposta è supportata dal contesto recuperato; coglie l'allucinazione anche quando la risposta sembra plausibile. La pertinenza della risposta chiede se la risposta risponde effettivamente alla domanda, penalizzando le risposte evasive o imbottite. La precisione del contesto chiede se i blocchi recuperati che contano sono classificati vicino alla cima piuttosto che sepolti nel rumore. Il richiamo del contesto chiede se il contesto recuperato contiene tutto il necessario per produrre una risposta di riferimento, quindi richiede una risposta fondata sulla verità per ciascuna domanda del test. La maggior parte di questi punteggi sono calcolati da un LLM che funge da giudice, suddiviso in piccoli passaggi. Per fedeltà, il giudice estrae le singole affermazioni dalla risposta e le confronta ciascuna con il contesto; il punteggio è la frazione supportata. Per la pertinenza della risposta, RAGAS genera domande a cui la risposta risponderebbe e le confronta con la domanda originale utilizzando gli incorporamenti. Idee simili compaiono in altri strumenti, come la triade TruLens RAG (pertinenza al contesto, fondatezza e pertinenza della risposta) e DeepEval. Sono comuni due malintesi. Innanzitutto, fedele non significa corretto: una risposta può ripetere fedelmente un documento obsoleto o sbagliato. In secondo luogo, i punteggi dei giudici LLM non sono verità fondate. Variano a seconda del modello e del prompt del giudice, quindi i team li controllano a campione rispetto alle etichette umane e confrontano i sistemi con impostazioni identiche invece di considerare un punteggio come 0,85 come un voto assoluto.

Implementazione nel mondo reale

L'assistente politico di una banca ottiene un punteggio di 0,95 sul ricordo del contesto ma 0,70 sulla fedeltà, il che indica che il recupero del team va bene e che il modello sta aggiungendo dettagli non supportati, quindi restringono i suggerimenti anziché ricostruire l'indice.

Un team di supporto confronta due modelli di incorporamento sullo stesso set di test di 200 domande e mantiene quello con maggiore richiamo del contesto e precisione del contesto.

Uno strumento di conoscenza ospedaliero esegue un punteggio di fedeltà su un campione giornaliero di domande reali e segnala le risposte con affermazioni non supportate per la revisione umana prima che il modello si diffonda.

Una startup aggiunge un riclassificazione dopo aver riscontrato un elevato richiamo del contesto ma una bassa precisione del contesto, il che significa che i blocchi giusti sono stati recuperati ma classificati al di sotto di quelli irrilevanti.

Il futuro delle metriche di valutazione RAG e RAGAS

La valutazione RAG si sta spostando da report offline occasionali a controlli continui, in cui viene assegnato un punteggio a un campione di traffico di produzione e le regressioni attivano avvisi. I framework hanno aggiunto metriche per conversazioni a più turni, utilizzo di agenti e strumenti e le definizioni delle metriche cambiano tra le versioni della libreria, quindi il blocco delle versioni è importante per risultati comparabili. Il problema più grande aperto è l’affidabilità dei giudici: i giudici LLM possono mostrare pregiudizi come favorire risposte più lunghe e l’accordo con i revisori umani varia in base al dominio. Calibrare i giudici rispetto a piccoli insiemi etichettati come esseri umani e abbinarli a parametri di recupero deterministici rimarrà probabilmente una buona pratica.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the RAG Evaluation Metrics and RAGAS quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cosa sono le metriche di valutazione RAG e RAGAS?

La valutazione RAG assegna un punteggio a un sistema di generazione aumentata dal recupero separatamente sul recupero e sulla generazione, più comunemente con quattro metriche: fedeltà, pertinenza della risposta, precisione del contesto e richiamo del contesto. RAGAS è un framework open source che calcola questi parametri, utilizzando in gran parte un LLM come giudice. I punteggi separati sono importanti perché mostrano se una risposta sbagliata è stata ottenuta recuperando i passaggi sbagliati o abusando di quelli giusti.

Quale metrica controlla se ogni affermazione nella risposta è supportata dal contesto recuperato?

La fedeltà misura la frazione di affermazioni di risposta supportate dal contesto, che prende di mira l'allucinazione.

Quale di questi parametri richiede una risposta di riferimento fondata sulla verità per ciascuna domanda del test?

Il richiamo del contesto controlla se il contesto recuperato contiene ciò che è necessario per la risposta di riferimento, quindi deve esistere un riferimento.

Cosa misura la precisione del contesto?

La precisione del contesto premia il posizionamento di parti utili in alto nella classifica invece di seppellirle tra quelle irrilevanti.

In che modo RAGAS stima la rilevanza della risposta?

Se le domande generate dalla risposta assomigliano alla domanda reale, la risposta è in tema; gli incorporamenti misurano quella somiglianza.

Un sistema mostra un elevato richiamo del contesto ma una bassa precisione del contesto. Qual è la soluzione più probabile?

I blocchi giusti vengono recuperati ma classificati in modo inadeguato, il che è un problema di classificazione spesso affrontato da un reranker.