Quiz collegato alla guida · Medio Livello

Quiz Contesto Lungo vs RAG

Confronta contesti lunghi e RAG su costi, latenza, precisione e freschezza, inclusi l'effetto perduto nel mezzo e i design ibridi.

Percorsi guida correlatiContesto lungo vs RAG
Domanda 1 di 8

Perché l'approccio a contesto lungo in genere costa di più per query rispetto a RAG?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché l'approccio a contesto lungo in genere costa di più per query rispetto a RAG?
    • I provider addebitano un costo per token di input e il contesto lungo invia molti più token
    • I modelli a contesto lungo richiedono un database vettoriale
    • RAG è sempre gratuito
    • Il contesto lungo richiede una messa a punto di ciascuna domanda
  2. Cosa ha scoperto lo studio Lost in the Middle del 2023?
    • I modelli ignorano la prima frase di ogni prompt
    • Il recupero batte sempre il contesto lungo
    • Le prestazioni diminuivano quando le informazioni rilevanti venivano inserite nel mezzo di input lunghi
    • Le finestre di contesto non possono superare i 4.000 token
  3. Qual è il limite principale dei test dell’ago nel pagliaio?
    • Funzionano solo sulle immagini
    • Misurano la semplice ricerca, senza ragionare su molti fatti sparsi
    • Non possono essere eseguiti su input lunghi
    • Misurano i costi, non la precisione
  4. Quale situazione favorisce più chiaramente il RAG nel lungo contesto?
    • Un unico breve documento politico interrogato più volte
    • Riassumendo i temi di un romanzo
    • Confronto tra due capitoli di un rapporto
    • Un corpus ampio e in continua evoluzione con autorizzazioni di accesso per utente
  5. Quando si utilizza la memorizzazione nella cache dei prompt con un corpus lungo, come deve essere organizzato il prompt?
    • Metti la domanda per prima e il corpus per ultimo
    • Mescola il corpus ad ogni richiesta
    • Metti prima il corpus stabile e per ultima la domanda variabile
    • Suddividere il corpus in richieste separate
  6. Perché il tempo necessario per il primo token aumenta con la lunghezza del contesto?
    • Il modello deve elaborare ogni token di input prima di iniziare a rispondere
    • I prompt più lunghi vengono inviati su reti più lente
    • Il modello recupera documenti da Internet
    • I token di output vengono generati in parallelo
  7. Per quale compito il contesto lungo è particolarmente adatto?
    • Ricerca in milioni di articoli di supporto
    • Servire utenti con diversi livelli di autorizzazione
    • Risposta da dati che cambiano ogni ora
    • Riepilogare i temi di un intero documento
  8. Che aspetto ha un ibrido comune tra contesto lungo e RAG?
    • Utilizzo di RAG solo per le immagini e contesto lungo solo per il testo
    • Recuperare generosamente i documenti rilevanti, quindi includere interi documenti in una lunga finestra
    • Messa a punto del modello sui blocchi recuperati
    • Approcci alternati nei giorni pari e dispari