Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Block-Sparse és Native Sparse Attention Quiz

Checks block-sparse attention, NSA’s compression-selection-window branches, hardware alignment and scaling with long sequences.

kérdés 1 -ból 8

Miért drága a standard önfigyelés a hosszú sorozatoknál?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miért drága a standard önfigyelés a hosszú sorozatoknál?
    • Költsége négyzetesen nő a sorozat hosszával
    • Túl kevés paramétert használ
    • GPU-n nem fut
    • Csak az első tokenre vonatkozik
  2. Mi a blokkhiányos figyelem alapgondolata?
    • Az előretoló rétegek eltávolítása
    • A figyelem számítása csak a kiválasztott tokenblokkok között
    • Csak egy figyelőfej használata
    • A beágyazási méret megduplázása
  3. Miben különbözik a Native Sparse Attention (NSA) sok korábbi ritka módszertől?
    • Teljesen elvonja a figyelmet
    • Csak következtetés közben működik
    • Végponttól végpontig betanítható és hardverhez igazított
    • Nem igényel GPU-t
  4. Melyik három ágat kombinálja az NSA kulcsai és értékei miatt?
    • Kódoló, dekódoló és beágyazás
    • Lemorzsolódás, normalizálás és összevonás
    • Kvantizálás, metszés és lepárlás
    • Tömörítés, kijelölés és egy csúszóablak
  5. Miért használ az NSA blokk szintű műveleteket tetszőleges token szintű ritkaság helyett?
    • A GPU-memória-hozzáféréshez és a tenzormagos átviteli sebességhez való igazodás a valódi gyorsulás érdekében
    • Hogy nagyobb legyen a modell
    • Hogy egyáltalán ne használja fel a figyelmet
    • A rétegek számának csökkentésére
  6. Az autoregresszív dekódolás során a ritka figyelem különösen hasznos, mert ez a lépés gyakran:
    • A mátrixszorzásokon kötött számítás
    • Memóriakötött, így a látogatott tokenek csökkentése felgyorsítja a folyamatot
    • Függetlenül a sorozat hosszától
    • Csak CPU-kon fut
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations