Gids-gekoppelde quiz · Moeilijk Niveau
Mamba en selectieve staatsruimtenquiz
Bekijk Mamba's invoerafhankelijke SSM-parameters, status met vaste grootte, lineaire tijdreeksverwerking en hardwarebewuste parallelle scan.
Vraag 1 van 8
Wat is het belangrijkste rekenvoordeel van Mamba ten opzichte van een standaard Transformer?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het belangrijkste rekenvoordeel van Mamba ten opzichte van een standaard Transformer?
- Het schaalt lineair met de reekslengte in plaats van kwadratisch
- Er zijn geen trainingsgegevens nodig
- Het werkt alleen op afbeeldingen
- Het elimineert de noodzaak van elke verborgen staat
- Waarnaar verwijst het woord 'selectief' in Mamba?
- Het selecteert op welke GPU het moet draaien
- De SSM-parameters zijn afhankelijk van het invoertoken, zodat het kan kiezen wat het wil onthouden of vergeten
- Er worden alleen zelfstandige naamwoorden en werkwoorden geselecteerd
- Het kiest een willekeurige subset van tokens om te negeren
- Hoe representeert een toestandsruimtemodel de geschiedenis van een reeks?
- Door elk vorig token expliciet op te slaan
- Door een aandachtskaart over alle paren te tekenen
- Door de geschiedenis te comprimeren in een verborgen status met een vaste grootte, die stap voor stap wordt bijgewerkt
- Er wordt geen geschiedenis bijgehouden
- Waarom kan Mamba niet de snelle convolutiesnelkoppeling gebruiken die eerdere SSM's gebruikten?
- Omdat convoluties illegaal zijn op GPU's
- Omdat het geen parameters heeft
- Omdat het tokens in willekeurige volgorde verwerkt
- Omdat het input-afhankelijk maken van parameters breuken vereist die tijdsinvariantieconvoluties vereisen
- Welke techniek gebruikt Mamba om snel te blijven ondanks het verlies van de convolutiesnelkoppeling?
- Een hardwarebewuste parallelle scan bewaard in snel GPU-geheugen
- Draait volledig op de CPU
- Alle tokenparen in de cache opslaan
- Het grootste deel van de reeks overslaan
- Wie introduceerde Mamba en wanneer ongeveer?
- OpenAI in 2018
- Albert Gu en Tri Dao eind 2023
- Google in 2015
- Niemand, het is hypothetisch
- Which Mamba state-space parameters are made functions of the current input?
- Only the fixed transition matrix A
- The output vocabulary and tokenizer
- B, C, and the step size delta
- The attention query and key heads
- What do the variable B, C, and delta parameters let Mamba do?
- Build a growing key-value cache for every token
- Route each token to an expert network only
- Replace the state update with full all-pairs attention
- Choose how much information to let into the state and how much to retain based on the input