Gids-gekoppelde quiz · Moeilijk Niveau

Flash-aandachtsquiz

Test de IO-bewuste tiling van FlashAttention, online softmax, exacte aandacht, sequentieschaling en het verschil tussen geheugenverkeer en berekening.

Gerelateerde gidspadenFlits aandacht
Vraag 1 van 8

Wat is het belangrijkste knelpunt waar Flash Attention zich op richt?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het belangrijkste knelpunt waar Flash Attention zich op richt?
    • Het lezen en schrijven van de grote aandachtsmatrix om het GPU-geheugen te vertragen
    • Het aantal drijvende-kommavermenigvuldigingen in aandacht
    • De kosten voor het laden van modelgewichten vanaf schijf
    • Netwerklatentie tussen meerdere GPU's
  2. Hoe voorkomt Flash Attention dat de volledige N-voor-N aandachtsmatrix wordt opgeslagen?
    • Het benadert de aandacht met willekeurige projecties
    • Het verwerkt query's, sleutels en waarden in kleine tegels en combineert gedeeltelijke resultaten
    • Het slaat de meeste tokenparen volledig over
    • Het comprimeert de matrix met kwantisering
  3. Met welke techniek kan Flash Attention softmax correct berekenen zonder de hele rij in één keer te zien?
    • Een vooraf berekende opzoektabel met exponentiële waarden
    • De softmax laten vallen en een lineaire benadering gebruiken
    • Een lopende (online) softmax die een lopende max en som bijhoudt
    • Scores sorteren voordat ze worden genormaliseerd
  4. Vergeleken met standaardaandacht is de uitvoer van Flash-aandacht:
    • Een ruwe benadering waarbij nauwkeurigheid wordt ingeruild voor snelheid
    • Nauwkeuriger vanwege hogere precisie
    • Alleen geldig voor korte reeksen
    • Wiskundig identiek, alleen efficiënter berekend
  5. Waarom helpt Flash-aandacht het meest bij lange reeksen?
    • Omdat het aandachtsgeheugen kwadratisch groeit met de lengte van de reeks
    • Omdat langere reeksen minder lagen nodig hebben
    • Omdat softmax bij lange invoer overbodig wordt
    • Omdat GPU's langzamer werken bij korte reeksen
  6. Wat geeft het 'IO-bewuste' ontwerp van Flash Attention prioriteit aan het minimaliseren?
    • Het aantal modelparameters
    • Geheugen leest en schrijft tussen SRAM en HBM
    • De diepte van het neurale netwerk
    • De woordenschatgrootte van de tokenizer
  7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
    • The number of model layers must double
    • Every token is compared with only one other token
    • The number of query-key pair interactions grows with the square of sequence length
    • The number of model parameters becomes zero
  8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
    • It intentionally drops all long-distance tokens
    • It changes the model weights during inference
    • It replaces softmax with a random sample
    • Floating-point operations can occur in a different order during tiled accumulation