Gids-gekoppelde quiz · Moeilijk Niveau
Blok-Sparse en Native Sparse-aandachtsquiz
Controleert blok-spaarzame aandacht, NSA's compressieselectievenstertakken, hardware-uitlijning en schaling met lange reeksen.
Vraag 1 van 8
Waarom is standaard zelfaandacht duur voor lange reeksen?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarom is standaard zelfaandacht duur voor lange reeksen?
- De kosten ervan groeien kwadratisch met de lengte van de reeks
- Er worden te weinig parameters gebruikt
- Het kan niet op GPU's draaien
- Het gaat alleen om het eerste token
- Wat is het kernidee van block-sparse aandacht?
- Het verwijderen van de feedforward-lagen
- Het berekenen van de aandacht alleen tussen geselecteerde blokken tokens
- Slechts één aandachtskop gebruiken
- Verdubbeling van de inbeddingsdimensie
- Wat onderscheidt Native Sparse Attention (NSA) van veel eerdere spaarzame methoden?
- Het trekt de aandacht volledig weg
- Het werkt alleen tijdens gevolgtrekking
- Het is end-to-end trainbaar en hardwarematig afgestemd
- Het vereist geen GPU
- Welke drie takken combineert de NSA qua kernwaarden en waarden?
- Encoder, decoder en inbedding
- Drop-out, normalisatie en pooling
- Kwantisering, snoeien en destillatie
- Compressie, selectie en een schuifvenster
- Waarom gebruikt de NSA operaties op blokniveau in plaats van willekeurige sparsity op tokenniveau?
- Om af te stemmen op GPU-geheugentoegang en tensor-core doorvoer voor echte versnellingen
- Om het model groter te maken
- Om helemaal geen aandacht te gebruiken
- Om het aantal lagen te verminderen
- Tijdens autoregressieve decodering is spaarzame aandacht vooral nuttig omdat die stap vaak het volgende is:
- Berekeningsgebonden op matrixvermenigvuldigingen
- Geheugengebonden, dus het verminderen van bezochte tokens versnelt het
- Onafhankelijk van de lengte van de reeks
- Draai alleen op CPU's
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations