Gids-gekoppelde quiz · Moeilijk Niveau

Blok-Sparse en Native Sparse-aandachtsquiz

Controleert blok-spaarzame aandacht, NSA's compressieselectievenstertakken, hardware-uitlijning en schaling met lange reeksen.

Vraag 1 van 8

Waarom is standaard zelfaandacht duur voor lange reeksen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom is standaard zelfaandacht duur voor lange reeksen?
    • De kosten ervan groeien kwadratisch met de lengte van de reeks
    • Er worden te weinig parameters gebruikt
    • Het kan niet op GPU's draaien
    • Het gaat alleen om het eerste token
  2. Wat is het kernidee van block-sparse aandacht?
    • Het verwijderen van de feedforward-lagen
    • Het berekenen van de aandacht alleen tussen geselecteerde blokken tokens
    • Slechts één aandachtskop gebruiken
    • Verdubbeling van de inbeddingsdimensie
  3. Wat onderscheidt Native Sparse Attention (NSA) van veel eerdere spaarzame methoden?
    • Het trekt de aandacht volledig weg
    • Het werkt alleen tijdens gevolgtrekking
    • Het is end-to-end trainbaar en hardwarematig afgestemd
    • Het vereist geen GPU
  4. Welke drie takken combineert de NSA qua kernwaarden en waarden?
    • Encoder, decoder en inbedding
    • Drop-out, normalisatie en pooling
    • Kwantisering, snoeien en destillatie
    • Compressie, selectie en een schuifvenster
  5. Waarom gebruikt de NSA operaties op blokniveau in plaats van willekeurige sparsity op tokenniveau?
    • Om af te stemmen op GPU-geheugentoegang en tensor-core doorvoer voor echte versnellingen
    • Om het model groter te maken
    • Om helemaal geen aandacht te gebruiken
    • Om het aantal lagen te verminderen
  6. Tijdens autoregressieve decodering is spaarzame aandacht vooral nuttig omdat die stap vaak het volgende is:
    • Berekeningsgebonden op matrixvermenigvuldigingen
    • Geheugengebonden, dus het verminderen van bezochte tokens versnelt het
    • Onafhankelijk van de lengte van de reeks
    • Draai alleen op CPU's
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations