Quiz collegato alla guida · Difficile Livello

Quiz sull'attenzione a blocchi scarsi e nativi sparsi

Controlla l'attenzione sui blocchi scarsi, i rami della finestra di compressione-selezione di NSA, l'allineamento dell'hardware e il ridimensionamento con lunghe sequenze.

Percorsi guida correlatiBlocca l'attenzione sparsa e nativa
Domanda 1 di 8

Perché l’autoattenzione standard è costosa per le lunghe sequenze?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché l’autoattenzione standard è costosa per le lunghe sequenze?
    • Il suo costo cresce quadraticamente con la lunghezza della sequenza
    • Utilizza troppo pochi parametri
    • Non può essere eseguito su GPU
    • Si occupa solo del primo token
  2. Qual è l’idea centrale dell’attenzione a blocchi sparsi?
    • Rimozione degli strati feed-forward
    • Calcolare l'attenzione solo tra blocchi di token selezionati
    • Usando una sola testa di attenzione
    • Raddoppiando la dimensione di incorporamento
  3. Cosa distingue la Native Sparse Attention (NSA) da molti metodi sparsi precedenti?
    • Rimuove completamente l'attenzione
    • Funziona solo durante l'inferenza
    • È addestrabile end-to-end e allineato all'hardware
    • Non richiede GPU
  4. Quali tre rami unisce la NSA per le sue chiavi e valori?
    • Codificatore, decodificatore e incorporamento
    • Dropout, normalizzazione e pooling
    • Quantizzazione, potatura e distillazione
    • Compressione, selezione e una finestra scorrevole
  5. Perché la NSA utilizza operazioni a livello di blocco anziché una scarsità arbitraria a livello di token?
    • Per allinearsi con l'accesso alla memoria della GPU e il throughput tensor-core per accelerazioni reali
    • Per ingrandire il modello
    • Per evitare del tutto di usare l'attenzione
    • Per ridurre il numero di strati
  6. Durante la decodifica autoregressiva, una scarsa attenzione è particolarmente utile perché quel passaggio è spesso:
    • Limitati al calcolo su moltiplicazioni di matrici
    • Legato alla memoria, quindi la riduzione dei token assistiti accelera il processo
    • Indipendente dalla lunghezza della sequenza
    • Funziona solo su CPU
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations