Il prossimoProssima guida
Self-RAG e recupero riflessivo
Intelligenza artificiale linguistica
GUIDA TECNICA
Il RAG speculativo accelera e ottimizza la generazione aumentata dal recupero facendo in modo che un modello piccolo e veloce rediga più risposte candidate dai documenti recuperati, che un modello più grande poi verifica.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché riduce la latenza e riduce la confusione di cui soffrono i modelli di grandi dimensioni quando sono riempiti con molti passaggi lunghi.
Il RAG classico inserisce tutti i documenti recuperati in un unico grande modello linguistico, che è lento e incline a perdere la concentrazione quando il contesto è lungo. Il RAG speculativo divide il lavoro. A un modello di "redattore" più piccolo e specializzato vengono forniti gruppi di documenti recuperati e produce diverse risposte candidate in parallelo, ciascuna fondata su un diverso sottoinsieme di prove e accompagnata da una motivazione. Un modello di "verificatore" più ampio assegna quindi un punteggio a queste bozze e sceglie quella migliore, invece di leggere tutti i documenti da solo. Poiché il modello piccolo gestisce le letture più impegnative e il modello grande valuta solo le bozze brevi, il sistema è più veloce e spesso più accurato. La fase di raggruppamento garantisce che le bozze coprano prospettive diverse anziché passaggi ridondanti.
Un assistente di domande e risposte mediche in cui un piccolo redattore legge in parallelo le linee guida cliniche raggruppate e un modello più grande verifica la risposta più sicura e meglio supportata.
Un bot di ricerca aziendale che elabora diverse risposte dei candidati da diversi cluster di documenti per ridurre la latenza delle risposte su basi di conoscenza lunghe.
Uno strumento di ricerca giuridica che genera interpretazioni concorrenti fondate su sottoinsiemi distinti di giurisprudenza, quindi classificandole con un modello di verifica.
Un sistema di assistenza clienti che distilla un redattore specifico del dominio per gestire i manuali dei prodotti mentre un verificatore generale garantisce una base fattuale.
Il RAG speculativo punta verso sistemi di recupero modulari in cui piccoli redattori distillati vengono ottimizzati per dominio e scambiati dietro un verificatore condiviso. Aspettatevi un’integrazione più stretta con i canali degli agenti, un numero adattivo di bozze in base alla difficoltà delle domande e verificatori che segnalino anche prove insufficienti. Man mano che le finestre di contesto crescono, il valore si sposta dallo stipare più testo al parallelizzare in modo intelligente il ragionamento sulle prove, rendendo le architetture di bozza e verifica una probabile impostazione predefinita per la risposta a domande fondate.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il RAG speculativo accelera e ottimizza la generazione aumentata dal recupero facendo in modo che un modello piccolo e veloce rediga più risposte candidate dai documenti recuperati, che un modello più grande poi verifica. È importante perché riduce la latenza e riduce la confusione di cui soffrono i modelli di grandi dimensioni quando sono riempiti con molti passaggi lunghi.
Il "redattore" leggero legge sottoinsiemi di documenti raggruppati e produce diverse risposte candidate radicate in parallelo.
Raggruppando e campionando un documento per cluster si ottiene in ogni bozza una porzione di prova distinta e non sovrapposta, incoraggiando risposte diverse.
Invece di leggere tutti i documenti, il verificatore valuta le brevi bozze e le motivazioni e sceglie la risposta con il punteggio più alto.
Il costoso modello grande non ingerisce più tutti i passaggi lunghi; verifica solo le bozze brevi, mentre la redazione parallela gestisce la lettura.
Entrambi utilizzano proposte parallele economiche provenienti da un modello piccolo seguite da un controllo autorevole da un modello più ampio.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Self-RAG e recupero riflessivo
Intelligenza artificiale linguistica