Вікторина, пов’язана з посібником · важко Рівень

Космічні моделі держав і вікторина «Мамба».

Перевірте складність послідовності простору станів, вибірковість Mamba, сканування з урахуванням апаратного забезпечення, повторюваний стан висновку та гібридні моделі.

Пов'язані напрямні шляхиКосмічні моделі держав і Мамба
Питання 1 з 8

Як масштабується модель простору станів із довжиною послідовності порівняно зі стандартною самоувагою?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Як масштабується модель простору станів із довжиною послідовності порівняно зі стандартною самоувагою?
    • Лінійно, проти квадратичного масштабування уваги
    • Квадратично проти лінійного масштабування уваги
    • Обидва масштабуються однаково
    • Експоненціально для обох
  2. Яке центральне нововведення Mamba додала до попередніх структурованих SSM, таких як S4?
    • Внутрішнє використання уваги softmax
    • Зроблення параметрів оновлення стану залежними від вхідних даних (вибірковість)
    • Повне видалення прихованого стану
    • Перехід на квадратичне обчислення часу
  3. Чому Mamba знадобилося спеціальне паралельне сканування з урахуванням апаратного забезпечення?
    • Оскільки графічні процесори не можуть виконувати множення матриць
    • Щоб зменшити кількість шарів
    • Тому що створення залежних параметрів від вхідних даних порушує простий трюк згортки
    • Оскільки він не використовує вивчені параметри
  4. Під час висновків ключовою перевагою ефективності SSM, як Mamba, є те, що він використовує:
    • Пам'ять, яка зростає разом із повною довжиною послідовності, як кеш KV
    • Зовсім немає пам'яті
    • Більше пам'яті, ніж Transformer такого ж розміру
    • Приблизно постійна пам’ять на згенерований маркер
  5. У класичних структурованих SSM (до селективності) повторення можна обчислити ефективно, оскільки його можна переписати як:
    • Довга згортка
    • Операція Softmax
    • Дерево рішень
    • Випадковий ліс
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Купа
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation