Quiz collegato alla guida · Medio Livello

Quiz sulla modellazione a lungo contesto

Esamina le finestre di contesto, i costi di attenzione, il recupero sensibile alla posizione, FlashAttention e le valutazioni dell'uso efficace del contesto.

Percorsi guida correlatiModellazione del contesto lungo
Domanda 1 di 8

A cosa si riferisce la "finestra di contesto" di un modello?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. A cosa si riferisce la "finestra di contesto" di un modello?
    • Il numero massimo di token a cui può occuparsi in un passaggio
    • Le dimensioni dello schermo dell'interfaccia di chat
    • Il numero di utenti consentiti contemporaneamente
    • Per quanto tempo il modello è stato addestrato
  2. Perché l’autoattenzione standard diventa costosa per input lunghi?
    • Cresce linearmente ed è sempre economico
    • Il calcolo e la memoria crescono quadraticamente con la lunghezza della sequenza
    • Non può leggere più di un token
    • Funziona solo sulle immagini
  3. Qual è il problema del "perso nel mezzo"?
    • Le modelle dimenticano completamente la loro formazione
    • I modelli possono leggere solo la parte centrale di un documento
    • I modelli ricordano le informazioni all’inizio e alla fine di un lungo input meglio dei fatti sepolti nel mezzo
    • I modelli traducono la parte centrale in un'altra lingua
  4. Cosa migliora principalmente FlashAttention?
    • Rende l'output del modello un testo più lungo
    • Aggiunge automaticamente più dati di allenamento
    • Elimina la necessità di qualsiasi attenzione
    • Riduce il collo di bottiglia della memoria con un calcolo affiancato sensibile all'IO
  5. Che ruolo svolgono gli incorporamenti di posizione rotante (RoPE) nei modelli a lungo contesto?
    • Codificano le posizioni dei token e, con l'interpolazione, aiutano a generalizzare a sequenze più lunghe
    • Eliminano i token dall'input
    • Traducono il testo tra le lingue
    • Memorizzano i pesi del modello
  6. What does prompt-cache research reuse across compatible requests?
    • The final answer regardless of the new query
    • Computed attention state for reusable prompt segments
    • A fixed set of token IDs without model computation
    • The model’s training data
  7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
    • Solo classificazione delle immagini
    • Audio transcription from waveforms
    • Tasks such as multi-hop tracing and aggregation over long contexts
    • GPU memory allocation benchmarks
  8. Why test several task types when measuring a model’s effective context length?
    • Every task uses the same computation
    • The advertised window guarantees all tasks work
    • Task type never affects context use
    • A model may handle simple retrieval yet fail to combine or track information across a long input