Gids-gekoppelde quiz · Middelmatig Niveau
FlashAttentie-quiz
Controleer hoe FlashAttention het geheugenverkeer met hoge bandbreedte vermindert terwijl de exacte aandacht wordt berekend, en welke hardware FlashAttention-3-doelen verandert.
Vraag 1 van 8
Wat zijn de belangrijkste knelpunten van FlashAttention-doelen in standaardaandacht?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat zijn de belangrijkste knelpunten van FlashAttention-doelen in standaardaandacht?
- Het lezen en schrijven van de grote aandachtsmatrix om het GPU-geheugen te vertragen
- Het aantal vermenigvuldigingen met drijvende komma
- De kosten voor het tokeniseren van de invoertekst
- Netwerklatentie tussen GPU's
- Hoe verhoudt de output van FlashAttention zich tot standaardaandacht?
- Het is een benadering die nauwkeurigheid inruilt voor snelheid
- Het is wiskundig identiek (exact)
- Het werkt alleen voor korte reeksen
- Het verandert de gewichten van het model
- Welk GPU-geheugen maakt gebruik van FlashAttention door gegevens in tegels te verwerken?
- Het grote maar trage geheugen met hoge bandbreedte (HBM)
- Het RAM-geheugen van de CPU
- De kleine maar zeer snelle on-chip SRAM
- Schijfopslag
- Met welke techniek kan FlashAttention softmax berekenen zonder alle scores in één keer te zien?
- De softmax volledig overslaan
- Alle scores afronden op nul
- Softmax vooraf berekenen op de CPU
- Online (incrementele) softmax met lopende herschaling
- Omdat de volledige aandachtsmatrix nooit in HBM wordt opgeslagen, schaalt het geheugengebruik grofweg:
- Lineair met de lengte van de reeks
- Kwadratisch met reekslengte
- Exponentieel met reekslengte
- Onafhankelijk van de lengte van de reeks
- Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
- Only 64-bit floating point
- FP8, with techniques to manage its numerical error
- Integer text tokens
- No reduced-precision format
- What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
- It stores the complete attention matrix in HBM
- It replaces attention with convolution
- It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
- It uses only CPU execution
- In FlashAttention-3, what lets data movement overlap with computation?
- Replacing attention with a lookup table
- Computing all scores in host memory
- Disabling the softmax step
- Asynchronous execution on Hopper hardware