Gids-gekoppelde quiz · Moeilijk Niveau
Lineaire aandacht en performer-kernelsquiz
Controleert de sequentiekosten van Softmax Attention, associatieve herschikking, FAVOR+ kernelbenadering, willekeurige kenmerken en lineaire complexiteit.
Vraag 1 van 8
Waarom schaalt de standaard softmax-aandacht slecht met de lengte van de reeks?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarom schaalt de standaard softmax-aandacht slecht met de lengte van de reeks?
- De tijd en het geheugen groeien met het kwadraat van de reekslengte
- Het vereist het alfabetisch sorteren van alle tokens
- Er kan slechts één token tegelijk worden verwerkt
- Het heeft per token een apart neuraal netwerk nodig
- Welke wiskundige eigenschap zorgt ervoor dat lineaire aandacht de n-bij-n-matrix vermijdt?
- Commutativiteit van optelling
- Associativiteit van matrixvermenigvuldiging
- De distributieve wet van softmax
- Eigenwaarde-ontbinding
- Wat betekent het FAVOR+-mechanisme van Performer?
- Updates voor gradiëntafdaling
- De tokenizer-vocabulaire
- De softmax-aandachtskernel
- Statistieken voor laagnormalisatie
- Waarom gebruikt Performer positieve willekeurige kenmerken in plaats van de eerdere trigonometrische kenmerken?
- Ze werken alleen sneller op CPU's
- Ze elimineren de noodzaak van willekeur
- Ze maken het model volledig interpreteerbaar
- Ze garanderen niet-negatieve aandachtsgewichten en verbeteren de numerieke stabiliteit
- Wat is bij benadering de complexiteit van lineaire aandacht in Performer-stijl in reekslengte n?
- O(n)
- O(n^2)
- O(n logboek n)
- O(2^n)
- Wat is een veel voorkomende beperking van pure lineaire aandacht vergeleken met volledige softmax-aandacht?
- Het kan niet op GPU's draaien
- Vaak wordt hiermee een iets lagere modelleringskwaliteit bereikt
- Het werkt alleen voor afbeeldingen
- Het vereist gelabelde gegevens voor elk token
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate