Il prossimoProssima guida
Metriche di valutazione ROUGE e BLEU
Tecnico
GUIDA TECNICA
La valutazione RAG assegna un punteggio a un sistema di generazione aumentata dal recupero separatamente sul recupero e sulla generazione, più comunemente con quattro metriche: fedeltà, pertinenza della risposta, precisione del contesto e richiamo del contesto.
Ascolta questa guidaNarrato dall'IA · ~3 min
RAGAS è un framework open source che calcola questi parametri, utilizzando in gran parte un LLM come giudice. I punteggi separati sono importanti perché mostrano se una risposta sbagliata è stata ottenuta recuperando i passaggi sbagliati o abusando di quelli giusti.
Un sistema RAG può fallire in due punti: il recupero può recuperare i passaggi sbagliati, oppure la generazione può ignorare o distorcere quelli giusti. Un singolo punteggio di qualità complessivo nasconde ciò che è accaduto, quindi la valutazione RAG suddivide la pipeline in parti misurabili. RAGAS, un framework open source introdotto in un articolo del 2023 da Es e colleghi, ha reso popolare una serie di parametri fondamentali che coprono entrambe le metà. La fedeltà chiede se ogni affermazione nella risposta è supportata dal contesto recuperato; coglie l'allucinazione anche quando la risposta sembra plausibile. La pertinenza della risposta chiede se la risposta risponde effettivamente alla domanda, penalizzando le risposte evasive o imbottite. La precisione del contesto chiede se i blocchi recuperati che contano sono classificati vicino alla cima piuttosto che sepolti nel rumore. Il richiamo del contesto chiede se il contesto recuperato contiene tutto il necessario per produrre una risposta di riferimento, quindi richiede una risposta fondata sulla verità per ciascuna domanda del test. La maggior parte di questi punteggi sono calcolati da un LLM che funge da giudice, suddiviso in piccoli passaggi. Per fedeltà, il giudice estrae le singole affermazioni dalla risposta e le confronta ciascuna con il contesto; il punteggio è la frazione supportata. Per la pertinenza della risposta, RAGAS genera domande a cui la risposta risponderebbe e le confronta con la domanda originale utilizzando gli incorporamenti. Idee simili compaiono in altri strumenti, come la triade TruLens RAG (pertinenza al contesto, fondatezza e pertinenza della risposta) e DeepEval. Sono comuni due malintesi. Innanzitutto, fedele non significa corretto: una risposta può ripetere fedelmente un documento obsoleto o sbagliato. In secondo luogo, i punteggi dei giudici LLM non sono verità fondate. Variano a seconda del modello e del prompt del giudice, quindi i team li controllano a campione rispetto alle etichette umane e confrontano i sistemi con impostazioni identiche invece di considerare un punteggio come 0,85 come un voto assoluto.
L'assistente politico di una banca ottiene un punteggio di 0,95 sul ricordo del contesto ma 0,70 sulla fedeltà, il che indica che il recupero del team va bene e che il modello sta aggiungendo dettagli non supportati, quindi restringono i suggerimenti anziché ricostruire l'indice.
Un team di supporto confronta due modelli di incorporamento sullo stesso set di test di 200 domande e mantiene quello con maggiore richiamo del contesto e precisione del contesto.
Uno strumento di conoscenza ospedaliero esegue un punteggio di fedeltà su un campione giornaliero di domande reali e segnala le risposte con affermazioni non supportate per la revisione umana prima che il modello si diffonda.
Una startup aggiunge un riclassificazione dopo aver riscontrato un elevato richiamo del contesto ma una bassa precisione del contesto, il che significa che i blocchi giusti sono stati recuperati ma classificati al di sotto di quelli irrilevanti.
La valutazione RAG si sta spostando da report offline occasionali a controlli continui, in cui viene assegnato un punteggio a un campione di traffico di produzione e le regressioni attivano avvisi. I framework hanno aggiunto metriche per conversazioni a più turni, utilizzo di agenti e strumenti e le definizioni delle metriche cambiano tra le versioni della libreria, quindi il blocco delle versioni è importante per risultati comparabili. Il problema più grande aperto è l’affidabilità dei giudici: i giudici LLM possono mostrare pregiudizi come favorire risposte più lunghe e l’accordo con i revisori umani varia in base al dominio. Calibrare i giudici rispetto a piccoli insiemi etichettati come esseri umani e abbinarli a parametri di recupero deterministici rimarrà probabilmente una buona pratica.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La valutazione RAG assegna un punteggio a un sistema di generazione aumentata dal recupero separatamente sul recupero e sulla generazione, più comunemente con quattro metriche: fedeltà, pertinenza della risposta, precisione del contesto e richiamo del contesto. RAGAS è un framework open source che calcola questi parametri, utilizzando in gran parte un LLM come giudice. I punteggi separati sono importanti perché mostrano se una risposta sbagliata è stata ottenuta recuperando i passaggi sbagliati o abusando di quelli giusti.
La fedeltà misura la frazione di affermazioni di risposta supportate dal contesto, che prende di mira l'allucinazione.
Il richiamo del contesto controlla se il contesto recuperato contiene ciò che è necessario per la risposta di riferimento, quindi deve esistere un riferimento.
La precisione del contesto premia il posizionamento di parti utili in alto nella classifica invece di seppellirle tra quelle irrilevanti.
Se le domande generate dalla risposta assomigliano alla domanda reale, la risposta è in tema; gli incorporamenti misurano quella somiglianza.
I blocchi giusti vengono recuperati ma classificati in modo inadeguato, il che è un problema di classificazione spesso affrontato da un reranker.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Metriche di valutazione ROUGE e BLEU
Tecnico