Викторина, связанная с руководством · Жесткий Уровень

Викторина «Мамба и выборочные пространства состояний»

Ознакомьтесь с входными параметрами SSM Mamba, состоянием фиксированного размера, последовательной обработкой с линейным временем и аппаратным параллельным сканированием.

Связанные направляющие путиМамба и выборочные пространства состояний
Вопрос 1 из 8

В чем основное вычислительное преимущество Мамбы перед стандартным Трансформером?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. В чем основное вычислительное преимущество Мамбы перед стандартным Трансформером?
    • Он масштабируется линейно с длиной последовательности, а не квадратично.
    • Ему не нужны данные для обучения
    • Работает только с изображениями
    • Это устраняет необходимость в каком-либо скрытом состоянии
  2. Что означает слово «селективный» на Мамбе?
    • Он выбирает, на каком графическом процессоре работать.
    • Его параметры SSM зависят от входного токена, поэтому он может выбирать, что запомнить, а что забыть.
    • Он выбирает только существительные и глаголы
    • Он выбирает случайное подмножество токенов, которые нужно игнорировать.
  3. Как модель пространства состояний представляет историю последовательности?
    • Явно сохраняя каждый предыдущий токен
    • Рисуя карту внимания по всем парам
    • Путем сжатия истории в скрытое состояние фиксированного размера, обновляемое шаг за шагом.
    • Он не сохраняет никакой истории
  4. Почему Mamba не может использовать быстрый способ свертки, который использовался ранее в SSM?
    • Потому что свертки запрещены на графических процессорах
    • Потому что у него нет параметров
    • Потому что он обрабатывает токены в случайном порядке
    • Поскольку создание параметров, зависящих от входных данных, нарушает свертки, инвариантные ко времени, требуют
  5. Какой прием использует Мамба, чтобы оставаться быстрым, несмотря на потерю ярлыка свертки?
    • Аппаратное параллельное сканирование, хранящееся в быстрой памяти графического процессора.
    • Работает полностью на процессоре
    • Кэширование всех пар токенов
    • Пропуск большей части последовательности
  6. Кто представил Мамбу и примерно когда?
    • OpenAI в 2018 году
    • Альберт Гу и Три Дао в конце 2023 года.
    • Google в 2015 году
    • Никто, это гипотетически
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input