Gids-gekoppelde quiz · Moeilijk Niveau
Flash-aandachtsquiz
Test de IO-bewuste tiling van FlashAttention, online softmax, exacte aandacht, sequentieschaling en het verschil tussen geheugenverkeer en berekening.
Vraag 1 van 8
Wat is het belangrijkste knelpunt waar Flash Attention zich op richt?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het belangrijkste knelpunt waar Flash Attention zich op richt?
- Het lezen en schrijven van de grote aandachtsmatrix om het GPU-geheugen te vertragen
- Het aantal drijvende-kommavermenigvuldigingen in aandacht
- De kosten voor het laden van modelgewichten vanaf schijf
- Netwerklatentie tussen meerdere GPU's
- Hoe voorkomt Flash Attention dat de volledige N-voor-N aandachtsmatrix wordt opgeslagen?
- Het benadert de aandacht met willekeurige projecties
- Het verwerkt query's, sleutels en waarden in kleine tegels en combineert gedeeltelijke resultaten
- Het slaat de meeste tokenparen volledig over
- Het comprimeert de matrix met kwantisering
- Met welke techniek kan Flash Attention softmax correct berekenen zonder de hele rij in één keer te zien?
- Een vooraf berekende opzoektabel met exponentiële waarden
- De softmax laten vallen en een lineaire benadering gebruiken
- Een lopende (online) softmax die een lopende max en som bijhoudt
- Scores sorteren voordat ze worden genormaliseerd
- Vergeleken met standaardaandacht is de uitvoer van Flash-aandacht:
- Een ruwe benadering waarbij nauwkeurigheid wordt ingeruild voor snelheid
- Nauwkeuriger vanwege hogere precisie
- Alleen geldig voor korte reeksen
- Wiskundig identiek, alleen efficiënter berekend
- Waarom helpt Flash-aandacht het meest bij lange reeksen?
- Omdat het aandachtsgeheugen kwadratisch groeit met de lengte van de reeks
- Omdat langere reeksen minder lagen nodig hebben
- Omdat softmax bij lange invoer overbodig wordt
- Omdat GPU's langzamer werken bij korte reeksen
- Wat geeft het 'IO-bewuste' ontwerp van Flash Attention prioriteit aan het minimaliseren?
- Het aantal modelparameters
- Geheugen leest en schrijft tussen SRAM en HBM
- De diepte van het neurale netwerk
- De woordenschatgrootte van de tokenizer
- What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
- The number of model layers must double
- Every token is compared with only one other token
- The number of query-key pair interactions grows with the square of sequence length
- The number of model parameters becomes zero
- Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
- It intentionally drops all long-distance tokens
- It changes the model weights during inference
- It replaces softmax with a random sample
- Floating-point operations can occur in a different order during tiled accumulation