Gids-gekoppelde quiz · Middelmatig Niveau

Schaarse aandachtspatronen Quiz

Vergelijk lokale, gedilateerde, willekeurige en globale schaarse aandachtsverbindingen en hoe geoptimaliseerde kernels ongebruikte vermeldingen overslaan bij verwerking van lange invoer.

Gerelateerde gidspadenSchaarse aandachtspatronen
Vraag 1 van 8

Waarom is volledige zelfaandacht duur bij lange reeksen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom is volledige zelfaandacht duur bij lange reeksen?
    • De kosten ervan stijgen met het kwadraat van de lengte van de reeks
    • Het kan geen GPU's gebruiken
    • Het werkt alleen bij korte woorden
    • Het vereist helemaal geen geheugen
  2. Wat is ‘sliding-window’ (lokale) aandacht?
    • Elk token maakt deel uit van een willekeurige database
    • Elk token heeft alleen betrekking op zijn nabijgelegen buren
    • Tokens houden zich nergens aan
    • Elk token heeft twee keer betrekking op alle tokens
  3. Wat is het doel van 'global tokens' in schaarse aandacht?
    • Om het model te vertragen
    • Om afbeeldingen op te slaan
    • Om te fungeren als knooppunten die voor alles zorgen en waar alles voor zorgt
    • Ter vervanging van de woordenschat
  4. Welk model bewees dat het combineren van willekeurige, venster- en globale aandacht de expressiviteit van de volledige aandacht behoudt?
    • ResNet
    • Woord2Vec
    • AlexNet
    • Grote Vogel
  5. Hoe schaalt het aantal verbindingen grofweg bij goed ontworpen spaarzame aandacht?
    • Ruwweg lineair met de lengte van de reeks
    • Kwadratisch met reekslengte
    • Het is niet afhankelijk van de lengte
    • Exponentieel met reekslengte
  6. What do strided or dilated sparse-attention patterns allow?
    • Berekent ze en stelt ze vervolgens in op nul
    • Skip ahead to reach distant context with fewer attention links
    • Stuurt ze naar een andere server
    • Slaat ze permanent op
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query