Quiz collegato alla guida · Medio Livello
Quiz su FlashAttention
Scopri in che modo FlashAttention riduce il traffico di memoria con larghezza di banda elevata durante il calcolo dell'attenzione esatta e quale hardware modifica gli obiettivi di FlashAttention-3.
Domanda 1 di 8
Qual è il principale collo di bottiglia che FlashAttention si prefigge nell'attenzione standard?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il principale collo di bottiglia che FlashAttention si prefigge nell'attenzione standard?
- Leggere e scrivere la grande matrice di attenzione per rallentare la memoria della GPU
- Il numero di moltiplicazioni in virgola mobile
- Il costo della tokenizzazione del testo di input
- Latenza di rete tra GPU
- Come si confronta l'output di FlashAttention con l'attenzione standard?
- È un'approssimazione che baratta la precisione con la velocità
- È matematicamente identico (esatto)
- Funziona solo per brevi sequenze
- Cambia i pesi del modello
- Quale memoria GPU sfrutta FlashAttention elaborando i dati nei riquadri?
- La grande ma lenta memoria a larghezza di banda elevata (HBM)
- La RAM della CPU
- La piccola ma velocissima SRAM su chip
- Archiviazione su disco
- Quale tecnica consente a FlashAttention di calcolare il softmax senza vedere tutti i punteggi contemporaneamente?
- Saltando del tutto il softmax
- Arrotondando tutti i punteggi a zero
- Precalcolo softmax sulla CPU
- Softmax online (incrementale) con riscalamento in esecuzione
- Poiché l'intera matrice dell'attenzione non viene mai memorizzata in HBM, l'utilizzo della memoria si ridimensiona approssimativamente:
- Linearmente con la lunghezza della sequenza
- Quadraticamente con la lunghezza della sequenza
- Esponenziale con la lunghezza della sequenza
- Indipendentemente dalla lunghezza della sequenza
- Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
- Only 64-bit floating point
- FP8, with techniques to manage its numerical error
- Integer text tokens
- No reduced-precision format
- What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
- It stores the complete attention matrix in HBM
- It replaces attention with convolution
- It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
- It uses only CPU execution
- In FlashAttention-3, what lets data movement overlap with computation?
- Replacing attention with a lookup table
- Computing all scores in host memory
- Disabling the softmax step
- Asynchronous execution on Hopper hardware