Викторина, связанная с руководством · Жесткий Уровень

Государственные космические модели и викторина «Мамба»

Тестируйте сложность последовательности в пространстве состояний, селективность Mamba, аппаратное сканирование, состояние рекуррентного вывода и гибридные модели.

Связанные направляющие путиГосударственные космические модели и Мамба
Вопрос 1 из 8

Как модель в пространстве состояний масштабируется в зависимости от длины последовательности по сравнению со стандартным самообслуживанием?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Как модель в пространстве состояний масштабируется в зависимости от длины последовательности по сравнению со стандартным самообслуживанием?
    • Линейно, в зависимости от квадратичного масштабирования внимания
    • Квадратично по сравнению с линейным масштабированием внимания
    • Оба масштабируются одинаково
    • Экспоненциально для обоих
  2. Какова основная инновация, которую Mamba добавила в предыдущие структурированные SSM, такие как S4?
    • Внутреннее использование внимания softmax
    • Зависимость параметров обновления состояния от ввода (селективность)
    • Полное удаление скрытого состояния
    • Переход к вычислениям в квадратичном времени
  3. Зачем Mamba понадобилось специальное параллельное сканирование с поддержкой аппаратного обеспечения?
    • Потому что графические процессоры не могут выполнять матричное умножение
    • Чтобы уменьшить количество слоев
    • Потому что создание параметров, зависящих от ввода, нарушает простой трюк свертки.
    • Поскольку он не использует изученные параметры
  4. Во время вывода ключевым преимуществом эффективности SSM, такого как Mamba, является то, что он использует:
    • Память, которая растет вместе с полной длиной последовательности, как кэш KV.
    • Памяти нет вообще
    • Больше памяти, чем у Transformer того же размера
    • Примерно постоянная память на каждый сгенерированный токен
  5. В классических структурированных SSM (до селективности) повторяемость можно эффективно вычислить, поскольку ее можно переписать как:
    • Длинная свертка
    • Операция Softmax
    • Дерево решений
    • Случайный лес
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Куча
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation