Quiz collegato alla guida · Medio Livello

Quiz su FlashAttention

Scopri in che modo FlashAttention riduce il traffico di memoria con larghezza di banda elevata durante il calcolo dell'attenzione esatta e quale hardware modifica gli obiettivi di FlashAttention-3.

Percorsi guida correlatiFlashattenzione
Domanda 1 di 8

Qual è il principale collo di bottiglia che FlashAttention si prefigge nell'attenzione standard?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il principale collo di bottiglia che FlashAttention si prefigge nell'attenzione standard?
    • Leggere e scrivere la grande matrice di attenzione per rallentare la memoria della GPU
    • Il numero di moltiplicazioni in virgola mobile
    • Il costo della tokenizzazione del testo di input
    • Latenza di rete tra GPU
  2. Come si confronta l'output di FlashAttention con l'attenzione standard?
    • È un'approssimazione che baratta la precisione con la velocità
    • È matematicamente identico (esatto)
    • Funziona solo per brevi sequenze
    • Cambia i pesi del modello
  3. Quale memoria GPU sfrutta FlashAttention elaborando i dati nei riquadri?
    • La grande ma lenta memoria a larghezza di banda elevata (HBM)
    • La RAM della CPU
    • La piccola ma velocissima SRAM su chip
    • Archiviazione su disco
  4. Quale tecnica consente a FlashAttention di calcolare il softmax senza vedere tutti i punteggi contemporaneamente?
    • Saltando del tutto il softmax
    • Arrotondando tutti i punteggi a zero
    • Precalcolo softmax sulla CPU
    • Softmax online (incrementale) con riscalamento in esecuzione
  5. Poiché l'intera matrice dell'attenzione non viene mai memorizzata in HBM, l'utilizzo della memoria si ridimensiona approssimativamente:
    • Linearmente con la lunghezza della sequenza
    • Quadraticamente con la lunghezza della sequenza
    • Esponenziale con la lunghezza della sequenza
    • Indipendentemente dalla lunghezza della sequenza
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware