Il prossimoProssima guida
Documento principale e recupero da piccolo a grande
Tecnico
GUIDA TECNICA
Il recupero contestuale è una tecnica RAG che antepone una breve spiegazione documentata a ciascun blocco prima che venga incorporato e indicizzato per la ricerca per parole chiave, quindi un blocco ha ancora senso se letto da solo.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché i blocchi spesso perdono informazioni chiave quando vengono separati dal documento, ad esempio a quale azienda, prodotto o periodo di tempo si riferiscono, e tale perdita fa sì che il recuperatore perda il passaggio giusto.
Il RAG standard suddivide i documenti in blocchi, incorpora ciascun blocco e recupera i blocchi più simili a una domanda. Il problema è che la suddivisione elimina il contesto. Una parte che dice "le entrate dell'azienda sono cresciute del 3%" non dice quale azienda o quale periodo, quindi né la ricerca semantica né la ricerca per parole chiave possono abbinarla in modo affidabile a una domanda che le nomina. Anthropic ha descritto il recupero contestuale nel settembre 2024. Per ogni blocco, a un modello linguistico viene fornito l'intero documento e il blocco e viene chiesto di scrivere un breve contesto (in genere circa 50-100 token) che situa il blocco all'interno del documento. Tale contesto è anteposto al pezzo. Il testo combinato viene quindi utilizzato in due indici: un indice di incorporamento (incorporamenti contestuali) e un indice di parole chiave BM25 (BM25 contestuale). Al momento della query, i risultati di entrambi vengono combinati e, facoltativamente, un riclassificatore riordina i migliori candidati. Negli esperimenti riportati da Anthropic su diversi set di dati, gli incorporamenti contestuali più BM25 contestuale hanno ridotto il tasso di errore di recupero dei primi 20 di circa il 49% rispetto agli incorporamenti standard, e l'aggiunta del riclassificazione ha portato la riduzione a circa il 67%. I risultati sui tuoi dati possono differire, quindi vale la pena misurarli. Il costo è al momento dell'indicizzazione: una model call per pezzo, ciascuna comprendente il documento completo. La memorizzazione immediata nella cache rende tutto questo molto più economico, perché il documento viene memorizzato nella cache una volta e riutilizzato in tutti i suoi blocchi. Interpretazioni sbagliate da evitare: il contesto aggiunto viene utilizzato per il recupero e puoi scegliere se mostrarlo al generatore. Non sostituisce una buona suddivisione in blocchi e, per piccole basi di conoscenza che si adattano alla finestra di contesto del modello, inviare tutto direttamente può essere più semplice di qualsiasi pipeline di recupero.
Una parte di un rapporto trimestrale recita solo "I ricavi sono cresciuti del 3% rispetto al trimestre precedente"; il recupero contestuale presuppone che provenga dall'archiviazione del secondo trimestre di una società specifica, quindi una ricerca che nomina tale società e trimestre lo trova.
In un manuale del dipendente, una parte che dice "Si applica dopo 90 giorni" ottiene un prefisso che spiega che proviene dalla sezione sull'idoneità al lavoro remoto.
Un assistente alla documentazione del software aggiunge contesto rilevando che un blocco di configurazione appartiene alla versione 3 di un'API, riducendo la confusione con testo simile della versione 2.
Una knowledge base di supporto prefissa i blocchi di risoluzione dei problemi con il modello di prodotto che coprono, quindi le domande su un modello interrompono il recupero dei passaggi per un altro.
Il recupero contestuale riflette una tendenza più ampia a spendere più calcoli al momento dell'indicizzazione per rendere il tempo delle query più affidabile. Man mano che le chiamate ai modelli diventano più economiche e la memorizzazione nella cache diventa standard, è probabile che l'aggiunta di contesto ai blocchi diventi un passaggio predefinito in molte pipeline RAG. Finestre di contesto più lunghe riducono la necessità di recupero in piccole raccolte ma non in quelle grandi, quindi tecniche come questa dovrebbero rimanere rilevanti per grandi basi di conoscenza. Aspettatevi più combinazioni con il filtraggio dei metadati, i grafici della conoscenza e il recupero dell'interazione tardiva, con i team che scelgono in base al ricordo misurato piuttosto che alla moda.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il recupero contestuale è una tecnica RAG che antepone una breve spiegazione documentata a ciascun blocco prima che venga incorporato e indicizzato per la ricerca per parole chiave, quindi un blocco ha ancora senso se letto da solo. È importante perché i blocchi spesso perdono informazioni chiave quando vengono separati dal documento, ad esempio a quale azienda, prodotto o periodo di tempo si riferiscono, e tale perdita fa sì che il recuperatore perda il passaggio giusto.
La suddivisione rimuove il contesto circostante, quindi un pezzo isolato potrebbe non menzionare l'entità o il periodo su cui si riferisce una domanda.
Al modello viene fornito il documento completo e il pezzo e restituisce un breve contesto che inserisce il pezzo all'interno del documento.
Il metodo utilizza incorporamenti contestuali e BM25 contestuale, quindi combina i loro risultati.
Anthropic ha riportato una riduzione del 49% circa, che sale a circa il 67% con il riclassificazione. I risultati su altri dati possono differire.
La chiamata di ogni blocco include il documento completo; la memorizzazione nella cache del prefisso condiviso evita di pagare ripetutamente il prezzo intero.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Documento principale e recupero da piccolo a grande
Tecnico