Il prossimoProssima guida
Metriche di valutazione RAG e RAGAS
Tecnico
GUIDA TECNICA
Il RAG correttivo (CRAG) è un metodo di generazione aumentata dal recupero che controlla la pertinenza dei documenti recuperati prima di rispondere e intraprende un'azione correttiva quando il recupero sembra debole, ad esempio perfezionando i documenti, riscrivendo la query o effettuando una ricerca sul Web.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché il RAG standard trasmette tutto ciò che recupera al modello e i documenti irrilevanti o fuorvianti sono una delle principali cause di risposte errate e dichiarate con sicurezza.
CRAG è stato introdotto nel documento del 2024 "Corrective Retrieval Augmented Generation" di Shi-Qi Yan e colleghi. Prende di mira un punto debole di base del RAG standard: il generatore si fida del retriever. Se i documenti principali sono fuori tema, obsoleti o solo vagamente correlati, il modello spesso risponde comunque. Il design del documento aggiunge un valutatore di recupero leggero, un modello T5-large perfezionato nel lavoro originale, che assegna un punteggio a ciascun documento recuperato in base alla pertinenza alla domanda. Sulla base di questi punteggi, il sistema sceglie una delle tre azioni. Se almeno un documento viene giudicato chiaramente rilevante, l'azione è corretta: i documenti passano attraverso il raffinamento della conoscenza, una fase di scomposizione e poi ricomposizione che li divide in piccole strisce, assegna un punteggio a ciascuna striscia e conserva solo quelle utili. Se tutti i documenti ottengono un punteggio basso, l'azione è errata: i documenti recuperati vengono scartati, la domanda viene riscritta in parole chiave in stile motore di ricerca e vengono invece utilizzati i risultati della ricerca web, nuovamente perfezionati. Se il valutatore non è sicuro, l'azione è ambigua e il sistema combina una conoscenza interna raffinata con i risultati web. Gli autori hanno presentato CRAG come plug-and-play: può eseguire il wrapper di RAG standard o altri metodi come Self-RAG e hanno segnalato miglioramenti su diversi benchmark di generazione di formati brevi e lunghi. In pratica, molti team implementano pipeline in stile CRAG senza il valutatore originale ottimizzato, utilizzando un prompt LLM per valutare la pertinenza e un grafico o una struttura di agenti (LangGraph ha un noto tutorial CRAG) per instradare tra i passaggi. Idee sbagliate comuni: CRAG non verifica che la risposta finale sia corretta; classifica gli input di recupero. La ricerca sul Web non è automaticamente migliore, poiché può portare a fonti di bassa qualità. Inoltre, la valutazione aggiunge latenza e costi a ogni query.
Un bot dell'help desk aziendale recupera tre blocchi di policy per una domanda sul congedo parentale, il valutatore non ne trova nessuno rilevante e il sistema riscrive la query ed effettua nuovamente la ricerca invece di rispondere in base alla policy sbagliata.
Un assistente alle informazioni mediche valuta i passaggi recuperati, conserva solo le frasi che menzionano il farmaco richiesto dall'utente e scarta il testo circostante su altri farmaci prima di generare.
Uno strumento di domande e risposte sulle notizie rileva che il suo archivio interno non copre un evento molto recente e ricorre a una ricerca sul Web per gli articoli attuali.
Un prototipo di ricerca legale contrassegna il recupero come ambiguo quando i documenti sono solo parzialmente rilevanti e combina passaggi interni raffinati con nuovi risultati di ricerca prima di rispondere.
L'idea CRAG, ovvero controllare la qualità del recupero e instradare di conseguenza, è diventata un modello comune nei sistemi RAG ad agenti, in cui un modello decide se recuperare nuovamente, cercare altrove o rispondere. È probabile che il lavoro futuro si concentri su valutatori di pertinenza più economici e meglio calibrati e sulla combinazione dei controlli degli input con i controlli degli output, ad esempio verificando che la risposta sia supportata dalle prove conservate. Lo specifico schema a tre azioni può avere meno importanza nel tempo rispetto al principio più ampio secondo cui il contesto recuperato dovrebbe essere valutato anziché attendibile automaticamente.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il RAG correttivo (CRAG) è un metodo di generazione aumentata dal recupero che controlla la pertinenza dei documenti recuperati prima di rispondere e intraprende un'azione correttiva quando il recupero sembra debole, ad esempio perfezionando i documenti, riscrivendo la query o effettuando una ricerca sul Web. È importante perché il RAG standard trasmette tutto ciò che recupera al modello e i documenti irrilevanti o fuorvianti sono una delle principali cause di risposte errate e dichiarate con sicurezza.
Il RAG standard passa i documenti recuperati al modello indipendentemente dalla rilevanza, il che può produrre risposte errate sicure. CRAG valuta prima il recupero.
Il documento ha utilizzato un modello T5-large leggero e ottimizzato per valutare la pertinenza del documento.
L'azione errata elimina i documenti, riscrive la domanda in query di ricerca e si basa su risultati web perfezionati.
L'affinamento della conoscenza suddivide i documenti in piccole strisce, assegna loro un punteggio e ricompone solo le parti utili per il generatore.
L'azione ambigua unisce entrambe le fonti per proteggersi dall'incertezza nel giudizio del valutatore.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Metriche di valutazione RAG e RAGAS
Tecnico