Quiz collegato alla guida · Difficile Livello
Quiz flash sull'attenzione
Testa il tiling IO-aware di FlashAttention, il softmax online, l'attenzione esatta, il ridimensionamento delle sequenze e la differenza tra traffico di memoria e calcolo.
Domanda 1 di 8
Qual è il principale collo di bottiglia a cui si rivolge Flash Attention?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il principale collo di bottiglia a cui si rivolge Flash Attention?
- Leggere e scrivere la grande matrice di attenzione per rallentare la memoria della GPU
- Il numero di moltiplicazioni in virgola mobile in attenzione
- Il costo del caricamento dei pesi del modello dal disco
- Latenza di rete tra più GPU
- In che modo Flash Attention evita di memorizzare l'intera matrice di attenzione N per N?
- Approssima l'attenzione con proiezioni casuali
- Elabora query, chiavi e valori in piccoli riquadri e combina risultati parziali
- Salta completamente la maggior parte delle coppie di token
- Comprime la matrice con quantizzazione
- Quale tecnica consente a Flash Attention di calcolare correttamente il softmax senza vedere l'intera riga contemporaneamente?
- Una tabella di ricerca precalcolata degli esponenziali
- Eliminando il softmax e utilizzando un'approssimazione lineare
- Un softmax in esecuzione (online) che tiene traccia di un massimo e di una somma in esecuzione
- Ordinamento dei punteggi prima della normalizzazione
- Rispetto all'attenzione standard, l'output di Flash Attenzione è:
- Un'approssimazione approssimativa che baratta la precisione con la velocità
- Più accurato grazie alla maggiore precisione
- Valido solo per brevi sequenze
- Matematicamente identico, solo calcolato in modo più efficiente
- Perché Flash Attention è più utile con le sequenze lunghe?
- Perché la memoria dell'attenzione cresce quadraticamente con la lunghezza della sequenza
- Perché le sequenze più lunghe necessitano di meno livelli
- Perché softmax diventa inutile per input lunghi
- Perché le GPU funzionano più lentamente su sequenze brevi
- A cosa dà priorità la minimizzazione del design "IO-aware" di Flash Attention?
- Il numero di parametri del modello
- La memoria legge e scrive tra SRAM e HBM
- La profondità della rete neurale
- La dimensione del vocabolario del tokenizzatore
- What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
- The number of model layers must double
- Every token is compared with only one other token
- The number of query-key pair interactions grows with the square of sequence length
- The number of model parameters becomes zero
- Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
- It intentionally drops all long-distance tokens
- It changes the model weights during inference
- It replaces softmax with a random sample
- Floating-point operations can occur in a different order during tiled accumulation