Тест, свързан с ръководство · трудно Ниво

Държавни космически модели и тест за мамба

Тествайте сложността на последователността на пространството на състоянието, селективността на Mamba, хардуерно сканиране, повтарящо се състояние на извод и хибридни модели.

Свързани ръководни пътекиДържавни космически модели и мамба
Въпрос 1 на 8

Как моделът на пространството на състоянието се мащабира с дължината на последователността в сравнение със стандартното самовнимание?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Как моделът на пространството на състоянието се мащабира с дължината на последователността в сравнение със стандартното самовнимание?
    • Линейно, спрямо квадратичното мащабиране на вниманието
    • Квадратично, спрямо линейното мащабиране на вниманието
    • И двете се мащабират идентично
    • Експоненциално и за двете
  2. Коя е основната иновация, която Mamba добави към предишни структурирани SSM като S4?
    • Използване на softmax внимание вътрешно
    • Правене на параметрите за актуализиране на състоянието в зависимост от входа (селективност)
    • Изцяло премахване на скритото състояние
    • Преминаване към изчисление с квадратично време
  3. Защо Mamba имаше нужда от персонализирано хардуерно паралелно сканиране?
    • Тъй като GPU не могат да правят матрично умножение
    • За да намалите броя на слоевете
    • Тъй като правенето на параметри зависими от входа нарушава простия трик с навиване
    • Тъй като не използва научени параметри
  4. По време на извод, ключово предимство на ефективността на SSM като Mamba е, че той използва:
    • Памет, която расте с пълната дължина на последователността, като KV кеш
    • Изобщо няма памет
    • Повече памет от Transformer със същия размер
    • Приблизително постоянна памет на генериран токен
  5. В класически структурирани SSMs (преди селективността), повторението може да бъде изчислено ефективно, защото може да бъде пренаписано като:
    • Дълга намотка
    • Операция Softmax
    • Дърво на решенията
    • Случайна гора
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Купчината
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation