Gids-gekoppelde quiz · Middelmatig Niveau
Schaarse aandachtspatronen Quiz
Vergelijk lokale, gedilateerde, willekeurige en globale schaarse aandachtsverbindingen en hoe geoptimaliseerde kernels ongebruikte vermeldingen overslaan bij verwerking van lange invoer.
Vraag 1 van 8
Waarom is volledige zelfaandacht duur bij lange reeksen?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarom is volledige zelfaandacht duur bij lange reeksen?
- De kosten ervan stijgen met het kwadraat van de lengte van de reeks
- Het kan geen GPU's gebruiken
- Het werkt alleen bij korte woorden
- Het vereist helemaal geen geheugen
- Wat is ‘sliding-window’ (lokale) aandacht?
- Elk token maakt deel uit van een willekeurige database
- Elk token heeft alleen betrekking op zijn nabijgelegen buren
- Tokens houden zich nergens aan
- Elk token heeft twee keer betrekking op alle tokens
- Wat is het doel van 'global tokens' in schaarse aandacht?
- Om het model te vertragen
- Om afbeeldingen op te slaan
- Om te fungeren als knooppunten die voor alles zorgen en waar alles voor zorgt
- Ter vervanging van de woordenschat
- Welk model bewees dat het combineren van willekeurige, venster- en globale aandacht de expressiviteit van de volledige aandacht behoudt?
- ResNet
- Woord2Vec
- AlexNet
- Grote Vogel
- Hoe schaalt het aantal verbindingen grofweg bij goed ontworpen spaarzame aandacht?
- Ruwweg lineair met de lengte van de reeks
- Kwadratisch met reekslengte
- Het is niet afhankelijk van de lengte
- Exponentieel met reekslengte
- What do strided or dilated sparse-attention patterns allow?
- Berekent ze en stelt ze vervolgens in op nul
- Skip ahead to reach distant context with fewer attention links
- Stuurt ze naar een andere server
- Slaat ze permanent op
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query