Gids-gekoppelde quiz · Moeilijk Niveau

Mamba en selectieve staatsruimtenquiz

Bekijk Mamba's invoerafhankelijke SSM-parameters, status met vaste grootte, lineaire tijdreeksverwerking en hardwarebewuste parallelle scan.

Gerelateerde gidspadenMamba en selectieve staatsruimten
Vraag 1 van 8

Wat is het belangrijkste rekenvoordeel van Mamba ten opzichte van een standaard Transformer?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het belangrijkste rekenvoordeel van Mamba ten opzichte van een standaard Transformer?
    • Het schaalt lineair met de reekslengte in plaats van kwadratisch
    • Er zijn geen trainingsgegevens nodig
    • Het werkt alleen op afbeeldingen
    • Het elimineert de noodzaak van elke verborgen staat
  2. Waarnaar verwijst het woord 'selectief' in Mamba?
    • Het selecteert op welke GPU het moet draaien
    • De SSM-parameters zijn afhankelijk van het invoertoken, zodat het kan kiezen wat het wil onthouden of vergeten
    • Er worden alleen zelfstandige naamwoorden en werkwoorden geselecteerd
    • Het kiest een willekeurige subset van tokens om te negeren
  3. Hoe representeert een toestandsruimtemodel de geschiedenis van een reeks?
    • Door elk vorig token expliciet op te slaan
    • Door een aandachtskaart over alle paren te tekenen
    • Door de geschiedenis te comprimeren in een verborgen status met een vaste grootte, die stap voor stap wordt bijgewerkt
    • Er wordt geen geschiedenis bijgehouden
  4. Waarom kan Mamba niet de snelle convolutiesnelkoppeling gebruiken die eerdere SSM's gebruikten?
    • Omdat convoluties illegaal zijn op GPU's
    • Omdat het geen parameters heeft
    • Omdat het tokens in willekeurige volgorde verwerkt
    • Omdat het input-afhankelijk maken van parameters breuken vereist die tijdsinvariantieconvoluties vereisen
  5. Welke techniek gebruikt Mamba om snel te blijven ondanks het verlies van de convolutiesnelkoppeling?
    • Een hardwarebewuste parallelle scan bewaard in snel GPU-geheugen
    • Draait volledig op de CPU
    • Alle tokenparen in de cache opslaan
    • Het grootste deel van de reeks overslaan
  6. Wie introduceerde Mamba en wanneer ongeveer?
    • OpenAI in 2018
    • Albert Gu en Tri Dao eind 2023
    • Google in 2015
    • Niemand, het is hypothetisch
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input