Gids-gekoppelde quiz · Moeilijk Niveau
State Space-modellen en Mamba-quiz
Test de complexiteit van de status-ruimtesequentie, Mamba-selectiviteit, hardwarebewuste scan, terugkerende gevolgtrekkingsstatus en hybride modellen.
Vraag 1 van 8
Hoe schaalt een toestandsruimtemodel met de sequentielengte, vergeleken met standaard zelfaandacht?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Hoe schaalt een toestandsruimtemodel met de sequentielengte, vergeleken met standaard zelfaandacht?
- Lineair, versus de kwadratische schaalvergroting van de aandacht
- Kwadratisch, versus lineaire schaalvergroting van de aandacht
- Beide schalen identiek
- Exponentieel voor beide
- Wat is de centrale innovatie die Mamba heeft toegevoegd aan eerdere gestructureerde SSM's zoals S4?
- Softmax aandacht intern gebruiken
- De statusupdateparameters afhankelijk maken van de invoer (selectiviteit)
- Het volledig verwijderen van de verborgen staat
- Overschakelen naar kwadratische tijdberekening
- Waarom had Mamba een aangepaste, hardwarebewuste parallelle scan nodig?
- Omdat GPU's geen matrixvermenigvuldiging kunnen uitvoeren
- Om het aantal lagen te verminderen
- Omdat het input-afhankelijk maken van parameters de eenvoudige convolutietruc doorbreekt
- Omdat er geen geleerde parameters worden gebruikt
- Tijdens de inferentie is een belangrijk efficiëntievoordeel van een SSM zoals Mamba dat het gebruik maakt van:
- Geheugen dat groeit met de volledige reekslengte, zoals een KV-cache
- Helemaal geen geheugen
- Meer geheugen dan een Transformer van gelijke grootte
- Ongeveer constant geheugen per gegenereerd token
- In klassiek gestructureerde SSM's (vóór selectiviteit) kan de herhaling efficiënt worden berekend omdat deze kan worden herschreven als:
- Lange convolutie
- Softmax-bediening
- Beslissingsboom
- Willekeurig bos
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- De stapel
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation