Il prossimoProssima guida
Modellazione a lungo contesto
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Un contesto lungo significa posizionare interi documenti direttamente nell'ampia finestra di contesto di un modello, mentre RAG recupera solo i passaggi più rilevanti per ciascuna domanda.
Ascolta questa guidaNarrato dall'IA · ~3 min
Il contesto lungo è spesso più semplice e migliore quando la conoscenza si adatta alla finestra e le domande richiedono una visualizzazione dell'intero documento; RAG solitamente vince in termini di costo per query, latenza, freschezza, scalabilità e controllo degli accessi. La maggior parte dei sistemi forti combina i due invece di sceglierne uno.
Le finestre di contesto sono passate da poche migliaia di token nei primi modelli di chat a centinaia di migliaia e Gemini 1.5 Pro di Google, annunciato nel 2024, offriva una finestra di un milione di token. Ciò ha sollevato una domanda ovvia: se il modello può leggere un intero manuale, perché costruire una pipeline di recupero? La risposta dipende da quattro compromessi. Costo: i fornitori addebitano un costo per token di input, quindi l'invio di centinaia di migliaia di token con ogni domanda costa molto di più rispetto all'invio di poche migliaia di token pertinenti, sebbene la memorizzazione immediata nella cache possa ridurre il prezzo di un prefisso ripetuto. Latenza: il modello deve elaborare ogni token di input prima di rispondere, quindi il tempo necessario per raggiungere il primo token aumenta con la lunghezza del contesto. Precisione: il contesto lungo evita errori di recupero, poiché nulla viene filtrato, e gestisce domande che richiedono l'intero documento, come riassumere temi o confrontare capitoli. Ma i modelli non utilizzano tutte le posizioni allo stesso modo. Lo studio Lost in the Middle del 2023 ha rilevato che le prestazioni diminuivano quando le informazioni rilevanti si trovavano nel mezzo di input lunghi e i test dell’ago nel pagliaio misurano solo una semplice ricerca, senza ragionare su molti fatti sparsi. Novità e scalabilità: gli indici RAG possono essere aggiornati in modo incrementale, coprono molti più documenti di qualsiasi finestra e supportano il controllo dell'accesso per utente filtrando ciò che viene recuperato. Una regola pratica: se la conoscenza si adatta comodamente alla finestra, viene interrogata ripetutamente e le domande richiedono un'ampia comprensione, un contesto lungo è spesso più semplice e migliore. Se il corpus è ampio, cambia spesso, dispone di autorizzazioni o deve ricevere risposte economiche con citazioni, recuperarlo. L’idea sbagliata comune è che uno sostituisca l’altro. Molti sistemi efficaci li combinano: recupera generosamente a livello di documento, quindi utilizza una finestra lunga per includere documenti interi anziché piccoli frammenti.
Un avvocato carica un accordo di fusione di 300 pagine in un modello a contesto lungo per chiedersi come interagiscono i termini di indennizzo tra le sezioni, una domanda a cui i pezzi sparsi recuperati darebbero una risposta scarsa.
Una piattaforma di assistenza clienti con milioni di articoli di aiuto che cambiano ogni giorno utilizza RAG, perché nessuna finestra di contesto contiene il corpus e l'indice può essere aggiornato articolo per articolo.
Un chatbot aziendale che serve dipendenti con diversi livelli di autorizzazione utilizza il recupero con filtri di autorizzazione, quindi il prompt di ciascun utente contiene solo i documenti che gli è consentito vedere.
Un gruppo di ricerca recupera i dieci documenti più rilevanti, quindi inserisce ciascun documento completo in una lunga finestra di contesto invece che in piccoli frammenti, combinando entrambi gli approcci.
Finestre più ampie e sconti sulla memorizzazione nella cache spostano il punto di pareggio verso un contesto lungo per le aziende di piccole e medie dimensioni. È improbabile che il recupero scompaia, poiché molte organizzazioni conservano molto più testo di qualsiasi finestra, i loro dati cambiano costantemente e necessitano di autorizzazioni e citazioni per utente. La direzione più probabile è la fusione: agenti che decidono quando recuperare, leggono interi documenti una volta trovati e memorizzano nella cache ciò che riutilizzano. La ricerca continua a fare in modo che i modelli utilizzino le posizioni intermedie in modo affidabile e su un'attenzione più economica per input lunghi. Poiché i prezzi e i modelli cambiano spesso, i team dovrebbero eseguire periodicamente i propri confronti di costi e accuratezza.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Un contesto lungo significa posizionare interi documenti direttamente nell'ampia finestra di contesto di un modello, mentre RAG recupera solo i passaggi più rilevanti per ciascuna domanda. Il contesto lungo è spesso più semplice e migliore quando la conoscenza si adatta alla finestra e le domande richiedono una visualizzazione dell'intero documento; RAG solitamente vince in termini di costo per query, latenza, freschezza, scalabilità e controllo degli accessi. La maggior parte dei sistemi forti combina i due invece di sceglierne uno.
Il costo varia con i token di input, quindi inviare ogni volta un intero corpus costa molto di più che inviare alcuni passaggi rilevanti.
I modelli utilizzavano le informazioni all’inizio e alla fine degli input lunghi in modo più affidabile rispetto alle informazioni nel mezzo.
Trovare un fatto noto è più semplice che combinare diversi fatti diffusi in un documento.
RAG si adatta oltre qualsiasi finestra, si aggiorna in modo incrementale e può filtrare i risultati in base all'autorizzazione.
La memorizzazione nella cache riutilizza un prefisso identico, quindi il contenuto immutabile deve venire prima.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modellazione a lungo contesto
Intelligenza artificiale linguistica