Gids-gekoppelde quiz · Moeilijk Niveau

Lineaire aandacht en performer-kernelsquiz

Controleert de sequentiekosten van Softmax Attention, associatieve herschikking, FAVOR+ kernelbenadering, willekeurige kenmerken en lineaire complexiteit.

Vraag 1 van 8

Waarom schaalt de standaard softmax-aandacht slecht met de lengte van de reeks?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom schaalt de standaard softmax-aandacht slecht met de lengte van de reeks?
    • De tijd en het geheugen groeien met het kwadraat van de reekslengte
    • Het vereist het alfabetisch sorteren van alle tokens
    • Er kan slechts één token tegelijk worden verwerkt
    • Het heeft per token een apart neuraal netwerk nodig
  2. Welke wiskundige eigenschap zorgt ervoor dat lineaire aandacht de n-bij-n-matrix vermijdt?
    • Commutativiteit van optelling
    • Associativiteit van matrixvermenigvuldiging
    • De distributieve wet van softmax
    • Eigenwaarde-ontbinding
  3. Wat betekent het FAVOR+-mechanisme van Performer?
    • Updates voor gradiëntafdaling
    • De tokenizer-vocabulaire
    • De softmax-aandachtskernel
    • Statistieken voor laagnormalisatie
  4. Waarom gebruikt Performer positieve willekeurige kenmerken in plaats van de eerdere trigonometrische kenmerken?
    • Ze werken alleen sneller op CPU's
    • Ze elimineren de noodzaak van willekeur
    • Ze maken het model volledig interpreteerbaar
    • Ze garanderen niet-negatieve aandachtsgewichten en verbeteren de numerieke stabiliteit
  5. Wat is bij benadering de complexiteit van lineaire aandacht in Performer-stijl in reekslengte n?
    • O(n)
    • O(n^2)
    • O(n logboek n)
    • O(2^n)
  6. Wat is een veel voorkomende beperking van pure lineaire aandacht vergeleken met volledige softmax-aandacht?
    • Het kan niet op GPU's draaien
    • Vaak wordt hiermee een iets lagere modelleringskwaliteit bereikt
    • Het werkt alleen voor afbeeldingen
    • Het vereist gelabelde gegevens voor elk token
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate