Quiz collegato alla guida · Difficile Livello

Quiz flash sull'attenzione

Testa il tiling IO-aware di FlashAttention, il softmax online, l'attenzione esatta, il ridimensionamento delle sequenze e la differenza tra traffico di memoria e calcolo.

Percorsi guida correlatiAttenzione flash
Domanda 1 di 8

Qual è il principale collo di bottiglia a cui si rivolge Flash Attention?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il principale collo di bottiglia a cui si rivolge Flash Attention?
    • Leggere e scrivere la grande matrice di attenzione per rallentare la memoria della GPU
    • Il numero di moltiplicazioni in virgola mobile in attenzione
    • Il costo del caricamento dei pesi del modello dal disco
    • Latenza di rete tra più GPU
  2. In che modo Flash Attention evita di memorizzare l'intera matrice di attenzione N per N?
    • Approssima l'attenzione con proiezioni casuali
    • Elabora query, chiavi e valori in piccoli riquadri e combina risultati parziali
    • Salta completamente la maggior parte delle coppie di token
    • Comprime la matrice con quantizzazione
  3. Quale tecnica consente a Flash Attention di calcolare correttamente il softmax senza vedere l'intera riga contemporaneamente?
    • Una tabella di ricerca precalcolata degli esponenziali
    • Eliminando il softmax e utilizzando un'approssimazione lineare
    • Un softmax in esecuzione (online) che tiene traccia di un massimo e di una somma in esecuzione
    • Ordinamento dei punteggi prima della normalizzazione
  4. Rispetto all'attenzione standard, l'output di Flash Attenzione è:
    • Un'approssimazione approssimativa che baratta la precisione con la velocità
    • Più accurato grazie alla maggiore precisione
    • Valido solo per brevi sequenze
    • Matematicamente identico, solo calcolato in modo più efficiente
  5. Perché Flash Attention è più utile con le sequenze lunghe?
    • Perché la memoria dell'attenzione cresce quadraticamente con la lunghezza della sequenza
    • Perché le sequenze più lunghe necessitano di meno livelli
    • Perché softmax diventa inutile per input lunghi
    • Perché le GPU funzionano più lentamente su sequenze brevi
  6. A cosa dà priorità la minimizzazione del design "IO-aware" di Flash Attention?
    • Il numero di parametri del modello
    • La memoria legge e scrive tra SRAM e HBM
    • La profondità della rete neurale
    • La dimensione del vocabolario del tokenizzatore
  7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
    • The number of model layers must double
    • Every token is compared with only one other token
    • The number of query-key pair interactions grows with the square of sequence length
    • The number of model parameters becomes zero
  8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
    • It intentionally drops all long-distance tokens
    • It changes the model weights during inference
    • It replaces softmax with a random sample
    • Floating-point operations can occur in a different order during tiled accumulation