Gids-gekoppelde quiz · Middelmatig Niveau

FlashAttentie-quiz

Controleer hoe FlashAttention het geheugenverkeer met hoge bandbreedte vermindert terwijl de exacte aandacht wordt berekend, en welke hardware FlashAttention-3-doelen verandert.

Gerelateerde gidspadenFlitsaandacht
Vraag 1 van 8

Wat zijn de belangrijkste knelpunten van FlashAttention-doelen in standaardaandacht?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat zijn de belangrijkste knelpunten van FlashAttention-doelen in standaardaandacht?
    • Het lezen en schrijven van de grote aandachtsmatrix om het GPU-geheugen te vertragen
    • Het aantal vermenigvuldigingen met drijvende komma
    • De kosten voor het tokeniseren van de invoertekst
    • Netwerklatentie tussen GPU's
  2. Hoe verhoudt de output van FlashAttention zich tot standaardaandacht?
    • Het is een benadering die nauwkeurigheid inruilt voor snelheid
    • Het is wiskundig identiek (exact)
    • Het werkt alleen voor korte reeksen
    • Het verandert de gewichten van het model
  3. Welk GPU-geheugen maakt gebruik van FlashAttention door gegevens in tegels te verwerken?
    • Het grote maar trage geheugen met hoge bandbreedte (HBM)
    • Het RAM-geheugen van de CPU
    • De kleine maar zeer snelle on-chip SRAM
    • Schijfopslag
  4. Met welke techniek kan FlashAttention softmax berekenen zonder alle scores in één keer te zien?
    • De softmax volledig overslaan
    • Alle scores afronden op nul
    • Softmax vooraf berekenen op de CPU
    • Online (incrementele) softmax met lopende herschaling
  5. Omdat de volledige aandachtsmatrix nooit in HBM wordt opgeslagen, schaalt het geheugengebruik grofweg:
    • Lineair met de lengte van de reeks
    • Kwadratisch met reekslengte
    • Exponentieel met reekslengte
    • Onafhankelijk van de lengte van de reeks
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware