Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Block-Sparse és Native Sparse Attention Quiz
Checks block-sparse attention, NSA’s compression-selection-window branches, hardware alignment and scaling with long sequences.
kérdés 1 -ból 8
Miért drága a standard önfigyelés a hosszú sorozatoknál?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miért drága a standard önfigyelés a hosszú sorozatoknál?
- Költsége négyzetesen nő a sorozat hosszával
- Túl kevés paramétert használ
- GPU-n nem fut
- Csak az első tokenre vonatkozik
- Mi a blokkhiányos figyelem alapgondolata?
- Az előretoló rétegek eltávolítása
- A figyelem számítása csak a kiválasztott tokenblokkok között
- Csak egy figyelőfej használata
- A beágyazási méret megduplázása
- Miben különbözik a Native Sparse Attention (NSA) sok korábbi ritka módszertől?
- Teljesen elvonja a figyelmet
- Csak következtetés közben működik
- Végponttól végpontig betanítható és hardverhez igazított
- Nem igényel GPU-t
- Melyik három ágat kombinálja az NSA kulcsai és értékei miatt?
- Kódoló, dekódoló és beágyazás
- Lemorzsolódás, normalizálás és összevonás
- Kvantizálás, metszés és lepárlás
- Tömörítés, kijelölés és egy csúszóablak
- Miért használ az NSA blokk szintű műveleteket tetszőleges token szintű ritkaság helyett?
- A GPU-memória-hozzáféréshez és a tenzormagos átviteli sebességhez való igazodás a valódi gyorsulás érdekében
- Hogy nagyobb legyen a modell
- Hogy egyáltalán ne használja fel a figyelmet
- A rétegek számának csökkentésére
- Az autoregresszív dekódolás során a ritka figyelem különösen hasznos, mert ez a lépés gyakran:
- A mátrixszorzásokon kötött számítás
- Memóriakötött, így a látogatott tokenek csökkentése felgyorsítja a folyamatot
- Függetlenül a sorozat hosszától
- Csak CPU-kon fut
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations