Quiz collegato alla guida · Medio Livello
Quiz Contesto Lungo vs RAG
Confronta contesti lunghi e RAG su costi, latenza, precisione e freschezza, inclusi l'effetto perduto nel mezzo e i design ibridi.
Domanda 1 di 8
Perché l'approccio a contesto lungo in genere costa di più per query rispetto a RAG?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché l'approccio a contesto lungo in genere costa di più per query rispetto a RAG?
- I provider addebitano un costo per token di input e il contesto lungo invia molti più token
- I modelli a contesto lungo richiedono un database vettoriale
- RAG è sempre gratuito
- Il contesto lungo richiede una messa a punto di ciascuna domanda
- Cosa ha scoperto lo studio Lost in the Middle del 2023?
- I modelli ignorano la prima frase di ogni prompt
- Il recupero batte sempre il contesto lungo
- Le prestazioni diminuivano quando le informazioni rilevanti venivano inserite nel mezzo di input lunghi
- Le finestre di contesto non possono superare i 4.000 token
- Qual è il limite principale dei test dell’ago nel pagliaio?
- Funzionano solo sulle immagini
- Misurano la semplice ricerca, senza ragionare su molti fatti sparsi
- Non possono essere eseguiti su input lunghi
- Misurano i costi, non la precisione
- Quale situazione favorisce più chiaramente il RAG nel lungo contesto?
- Un unico breve documento politico interrogato più volte
- Riassumendo i temi di un romanzo
- Confronto tra due capitoli di un rapporto
- Un corpus ampio e in continua evoluzione con autorizzazioni di accesso per utente
- Quando si utilizza la memorizzazione nella cache dei prompt con un corpus lungo, come deve essere organizzato il prompt?
- Metti la domanda per prima e il corpus per ultimo
- Mescola il corpus ad ogni richiesta
- Metti prima il corpus stabile e per ultima la domanda variabile
- Suddividere il corpus in richieste separate
- Perché il tempo necessario per il primo token aumenta con la lunghezza del contesto?
- Il modello deve elaborare ogni token di input prima di iniziare a rispondere
- I prompt più lunghi vengono inviati su reti più lente
- Il modello recupera documenti da Internet
- I token di output vengono generati in parallelo
- Per quale compito il contesto lungo è particolarmente adatto?
- Ricerca in milioni di articoli di supporto
- Servire utenti con diversi livelli di autorizzazione
- Risposta da dati che cambiano ogni ora
- Riepilogare i temi di un intero documento
- Che aspetto ha un ibrido comune tra contesto lungo e RAG?
- Utilizzo di RAG solo per le immagini e contesto lungo solo per il testo
- Recuperare generosamente i documenti rilevanti, quindi includere interi documenti in una lunga finestra
- Messa a punto del modello sui blocchi recuperati
- Approcci alternati nei giorni pari e dispari