Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Flash Figyelem Kvíz

Tests FlashAttention’s IO-aware tiling, online softmax, exact attention, sequence scaling, and the difference between memory traffic and computation.

Kapcsolódó útmutató utakFlash Figyelem
kérdés 1 -ból 8

Mi a fő szűk keresztmetszet, amelyet a Flash Attention céloz?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a fő szűk keresztmetszet, amelyet a Flash Attention céloz?
    • A nagy figyelemmátrix olvasása és írása a GPU memória lassítására
    • Figyelemben a lebegőpontos szorzások száma
    • A modellsúlyok lemezről történő betöltésének költsége
    • Hálózati késleltetés több GPU között
  2. Hogyan kerüli el a Flash Attention a teljes N-szer N figyelemmátrix tárolását?
    • Véletlenszerű vetületekkel közelíti a figyelmet
    • Kis csempékben dolgozza fel a lekérdezéseket, kulcsokat és értékeket, és egyesíti a részeredményeket
    • A legtöbb tokenpárt teljesen kihagyja
    • Kvantálással tömöríti a mátrixot
  3. Milyen technikával tudja a Flash Attention megfelelően kiszámítani a softmax-ot anélkül, hogy az egész sort egyszerre látná?
    • Előre kiszámított exponenciális keresőtábla
    • A softmax eldobása és lineáris közelítés
    • Egy futó (online) softmax, amely nyomon követi a futó maximumot és az összeget
    • A pontszámok rendezése normalizálás előtt
  4. A normál figyelemhez képest a Flash Attention teljesítménye:
    • Durva közelítés, amely a pontosságot sebességre cseréli
    • Pontosabb a nagyobb pontosság miatt
    • Csak rövid sorozatokra érvényes
    • Matematikailag azonos, csak hatékonyabban számítják ki
  5. Miért segít leginkább a Flash Attention a hosszú sorozatoknál?
    • Mert a figyelemmemória a sorozat hosszával négyzetesen növekszik
    • Mivel a hosszabb sorozatokhoz kevesebb rétegre van szükség
    • Mert a softmax szükségtelenné válik hosszú bemeneteknél
    • Mivel a GPU-k lassabban futnak rövid sorozatokon
  6. A Flash Attention „IO-aware” felépítése miben részesíti előnyben a minimalizálást?
    • A modell paramétereinek száma
    • A memória olvas és ír az SRAM és a HBM között
    • A neurális hálózat mélysége
    • A tokenizátor szókincsének mérete
  7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
    • The number of model layers must double
    • Every token is compared with only one other token
    • The number of query-key pair interactions grows with the square of sequence length
    • The number of model parameters becomes zero
  8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
    • It intentionally drops all long-distance tokens
    • It changes the model weights during inference
    • It replaces softmax with a random sample
    • Floating-point operations can occur in a different order during tiled accumulation