GUIDA ALL'AI linguistica

Contesto lungo vs RAG

Un contesto lungo significa posizionare interi documenti direttamente nell'ampia finestra di contesto di un modello, mentre RAG recupera solo i passaggi più rilevanti per ciascuna domanda.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro del contesto lungo vs RAG
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Il contesto lungo è spesso più semplice e migliore quando la conoscenza si adatta alla finestra e le domande richiedono una visualizzazione dell'intero documento; RAG solitamente vince in termini di costo per query, latenza, freschezza, scalabilità e controllo degli accessi. La maggior parte dei sistemi forti combina i due invece di sceglierne uno.

Immersione profonda

Le finestre di contesto sono passate da poche migliaia di token nei primi modelli di chat a centinaia di migliaia e Gemini 1.5 Pro di Google, annunciato nel 2024, offriva una finestra di un milione di token. Ciò ha sollevato una domanda ovvia: se il modello può leggere un intero manuale, perché costruire una pipeline di recupero? La risposta dipende da quattro compromessi. Costo: i fornitori addebitano un costo per token di input, quindi l'invio di centinaia di migliaia di token con ogni domanda costa molto di più rispetto all'invio di poche migliaia di token pertinenti, sebbene la memorizzazione immediata nella cache possa ridurre il prezzo di un prefisso ripetuto. Latenza: il modello deve elaborare ogni token di input prima di rispondere, quindi il tempo necessario per raggiungere il primo token aumenta con la lunghezza del contesto. Precisione: il contesto lungo evita errori di recupero, poiché nulla viene filtrato, e gestisce domande che richiedono l'intero documento, come riassumere temi o confrontare capitoli. Ma i modelli non utilizzano tutte le posizioni allo stesso modo. Lo studio Lost in the Middle del 2023 ha rilevato che le prestazioni diminuivano quando le informazioni rilevanti si trovavano nel mezzo di input lunghi e i test dell’ago nel pagliaio misurano solo una semplice ricerca, senza ragionare su molti fatti sparsi. Novità e scalabilità: gli indici RAG possono essere aggiornati in modo incrementale, coprono molti più documenti di qualsiasi finestra e supportano il controllo dell'accesso per utente filtrando ciò che viene recuperato. Una regola pratica: se la conoscenza si adatta comodamente alla finestra, viene interrogata ripetutamente e le domande richiedono un'ampia comprensione, un contesto lungo è spesso più semplice e migliore. Se il corpus è ampio, cambia spesso, dispone di autorizzazioni o deve ricevere risposte economiche con citazioni, recuperarlo. L’idea sbagliata comune è che uno sostituisca l’altro. Molti sistemi efficaci li combinano: recupera generosamente a livello di documento, quindi utilizza una finestra lunga per includere documenti interi anziché piccoli frammenti.

Implementazione nel mondo reale

Un avvocato carica un accordo di fusione di 300 pagine in un modello a contesto lungo per chiedersi come interagiscono i termini di indennizzo tra le sezioni, una domanda a cui i pezzi sparsi recuperati darebbero una risposta scarsa.

Una piattaforma di assistenza clienti con milioni di articoli di aiuto che cambiano ogni giorno utilizza RAG, perché nessuna finestra di contesto contiene il corpus e l'indice può essere aggiornato articolo per articolo.

Un chatbot aziendale che serve dipendenti con diversi livelli di autorizzazione utilizza il recupero con filtri di autorizzazione, quindi il prompt di ciascun utente contiene solo i documenti che gli è consentito vedere.

Un gruppo di ricerca recupera i dieci documenti più rilevanti, quindi inserisce ciascun documento completo in una lunga finestra di contesto invece che in piccoli frammenti, combinando entrambi gli approcci.

Il futuro del contesto lungo vs RAG

Finestre più ampie e sconti sulla memorizzazione nella cache spostano il punto di pareggio verso un contesto lungo per le aziende di piccole e medie dimensioni. È improbabile che il recupero scompaia, poiché molte organizzazioni conservano molto più testo di qualsiasi finestra, i loro dati cambiano costantemente e necessitano di autorizzazioni e citazioni per utente. La direzione più probabile è la fusione: agenti che decidono quando recuperare, leggono interi documenti una volta trovati e memorizzano nella cache ciò che riutilizzano. La ricerca continua a fare in modo che i modelli utilizzino le posizioni intermedie in modo affidabile e su un'attenzione più economica per input lunghi. Poiché i prezzi e i modelli cambiano spesso, i team dovrebbero eseguire periodicamente i propri confronti di costi e accuratezza.

Metterlo in pratica

Perché è importante

  • Velocità e scala. I flussi di lavoro linguistici possono muoversi più velocemente senza sacrificare la coerenza.
  • Accedere e raggiungere. Espande l'accesso attraverso lingue e stili di comunicazione.
  • Decisioni più chiare. I team possono dedicare più tempo al giudizio mentre l'automazione gestisce la ripetizione.

Attenzione

  • Fatti allucinati possono tranquillamente entrare nei rapporti, nei flussi di supporto o nei risultati della ricerca.
  • La sensibilità tempestiva può creare risultati incoerenti tra richieste simili.
  • I dati di testo sensibili potrebbero essere esposti se i controlli di accesso sono deboli.

Prossimi passi

  1. Definisci il formato di output, il tono e gli standard di qualità prima dell'implementazione.
  2. Risposte concrete con fonti attendibili ogni volta che la precisione è importante.
  3. Mantenere un checkpoint di revisione umana per i risultati ad alto rischio.
  4. Tieni traccia dei modelli di errore e riqualifica regolarmente le richieste o i flussi di lavoro.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Long Context vs RAG quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è il contesto lungo e il RAG?

Un contesto lungo significa posizionare interi documenti direttamente nell'ampia finestra di contesto di un modello, mentre RAG recupera solo i passaggi più rilevanti per ciascuna domanda. Il contesto lungo è spesso più semplice e migliore quando la conoscenza si adatta alla finestra e le domande richiedono una visualizzazione dell'intero documento; RAG solitamente vince in termini di costo per query, latenza, freschezza, scalabilità e controllo degli accessi. La maggior parte dei sistemi forti combina i due invece di sceglierne uno.

Perché l'approccio a contesto lungo in genere costa di più per query rispetto a RAG?

Il costo varia con i token di input, quindi inviare ogni volta un intero corpus costa molto di più che inviare alcuni passaggi rilevanti.

Cosa ha scoperto lo studio Lost in the Middle del 2023?

I modelli utilizzavano le informazioni all’inizio e alla fine degli input lunghi in modo più affidabile rispetto alle informazioni nel mezzo.

Qual è il limite principale dei test dell’ago nel pagliaio?

Trovare un fatto noto è più semplice che combinare diversi fatti diffusi in un documento.

Quale situazione favorisce più chiaramente il RAG nel lungo contesto?

RAG si adatta oltre qualsiasi finestra, si aggiorna in modo incrementale e può filtrare i risultati in base all'autorizzazione.

Quando si utilizza la memorizzazione nella cache dei prompt con un corpus lungo, come deve essere organizzato il prompt?

La memorizzazione nella cache riutilizza un prefisso identico, quindi il contenuto immutabile deve venire prima.