Gids-gekoppelde quiz · Moeilijk Niveau

State Space-modellen en Mamba-quiz

Test de complexiteit van de status-ruimtesequentie, Mamba-selectiviteit, hardwarebewuste scan, terugkerende gevolgtrekkingsstatus en hybride modellen.

Gerelateerde gidspadenStaatsruimtemodellen en Mamba
Vraag 1 van 8

Hoe schaalt een toestandsruimtemodel met de sequentielengte, vergeleken met standaard zelfaandacht?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoe schaalt een toestandsruimtemodel met de sequentielengte, vergeleken met standaard zelfaandacht?
    • Lineair, versus de kwadratische schaalvergroting van de aandacht
    • Kwadratisch, versus lineaire schaalvergroting van de aandacht
    • Beide schalen identiek
    • Exponentieel voor beide
  2. Wat is de centrale innovatie die Mamba heeft toegevoegd aan eerdere gestructureerde SSM's zoals S4?
    • Softmax aandacht intern gebruiken
    • De statusupdateparameters afhankelijk maken van de invoer (selectiviteit)
    • Het volledig verwijderen van de verborgen staat
    • Overschakelen naar kwadratische tijdberekening
  3. Waarom had Mamba een aangepaste, hardwarebewuste parallelle scan nodig?
    • Omdat GPU's geen matrixvermenigvuldiging kunnen uitvoeren
    • Om het aantal lagen te verminderen
    • Omdat het input-afhankelijk maken van parameters de eenvoudige convolutietruc doorbreekt
    • Omdat er geen geleerde parameters worden gebruikt
  4. Tijdens de inferentie is een belangrijk efficiëntievoordeel van een SSM zoals Mamba dat het gebruik maakt van:
    • Geheugen dat groeit met de volledige reekslengte, zoals een KV-cache
    • Helemaal geen geheugen
    • Meer geheugen dan een Transformer van gelijke grootte
    • Ongeveer constant geheugen per gegenereerd token
  5. In klassiek gestructureerde SSM's (vóór selectiviteit) kan de herhaling efficiënt worden berekend omdat deze kan worden herschreven als:
    • Lange convolutie
    • Softmax-bediening
    • Beslissingsboom
    • Willekeurig bos
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • De stapel
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation