Quiz collegato alla guida · Difficile Livello
Quiz sull'attenzione a blocchi scarsi e nativi sparsi
Controlla l'attenzione sui blocchi scarsi, i rami della finestra di compressione-selezione di NSA, l'allineamento dell'hardware e il ridimensionamento con lunghe sequenze.
Domanda 1 di 8
Perché l’autoattenzione standard è costosa per le lunghe sequenze?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché l’autoattenzione standard è costosa per le lunghe sequenze?
- Il suo costo cresce quadraticamente con la lunghezza della sequenza
- Utilizza troppo pochi parametri
- Non può essere eseguito su GPU
- Si occupa solo del primo token
- Qual è l’idea centrale dell’attenzione a blocchi sparsi?
- Rimozione degli strati feed-forward
- Calcolare l'attenzione solo tra blocchi di token selezionati
- Usando una sola testa di attenzione
- Raddoppiando la dimensione di incorporamento
- Cosa distingue la Native Sparse Attention (NSA) da molti metodi sparsi precedenti?
- Rimuove completamente l'attenzione
- Funziona solo durante l'inferenza
- È addestrabile end-to-end e allineato all'hardware
- Non richiede GPU
- Quali tre rami unisce la NSA per le sue chiavi e valori?
- Codificatore, decodificatore e incorporamento
- Dropout, normalizzazione e pooling
- Quantizzazione, potatura e distillazione
- Compressione, selezione e una finestra scorrevole
- Perché la NSA utilizza operazioni a livello di blocco anziché una scarsità arbitraria a livello di token?
- Per allinearsi con l'accesso alla memoria della GPU e il throughput tensor-core per accelerazioni reali
- Per ingrandire il modello
- Per evitare del tutto di usare l'attenzione
- Per ridurre il numero di strati
- Durante la decodifica autoregressiva, una scarsa attenzione è particolarmente utile perché quel passaggio è spesso:
- Limitati al calcolo su moltiplicazioni di matrici
- Legato alla memoria, quindi la riduzione dei token assistiti accelera il processo
- Indipendente dalla lunghezza della sequenza
- Funziona solo su CPU
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations