Вікторина, пов’язана з посібником · важко Рівень

Мамба та вибіркові простори стану. Тест

Перегляньте залежні від вхідних даних параметри SSM Mamba, стан фіксованого розміру, обробку лінійної послідовності в часі та апаратне паралельне сканування.

Пов'язані напрямні шляхиМамба та вибіркові простори станів
Питання 1 з 8

У чому головна обчислювальна перевага Mamba перед стандартним Transformer?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. У чому головна обчислювальна перевага Mamba перед стандартним Transformer?
    • Він масштабується лінійно з довжиною послідовності, а не квадратично
    • Для цього не потрібні навчальні дані
    • Він працює лише на зображеннях
    • Це усуває необхідність будь-якого прихованого стану
  2. Що означає слово «вибірковий» у Mamba?
    • Він вибирає, на якому GPU працювати
    • Його параметри SSM залежать від вхідного токена, тому він може вибрати, що запам’ятати або забути
    • Вибирає лише іменники та дієслова
    • Він вибирає випадкову підмножину токенів для ігнорування
  3. Як модель простору станів представляє історію послідовності?
    • Зберігаючи кожен попередній маркер явно
    • Намалювавши карту уваги над усіма парами
    • Шляхом стиснення історії до прихованого стану фіксованого розміру, що оновлюється крок за кроком
    • Він не зберігає жодної історії
  4. Чому Mamba не може використовувати ярлик швидкого згортання, який використовували попередні SSM?
    • Оскільки згортки є незаконними на GPU
    • Тому що він не має параметрів
    • Оскільки він обробляє токени у випадковому порядку
    • Оскільки створення параметрів, залежних від вхідних даних, розриває згортки незмінності часу
  5. Яку техніку використовує Mamba, щоб залишатися швидкою, незважаючи на втрату скорочення згортки?
    • Паралельне сканування з урахуванням апаратного забезпечення, яке зберігається у швидкій пам’яті GPU
    • Працює повністю на ЦП
    • Кешування всіх пар токенів
    • Пропуск більшої частини послідовності
  6. Хто представив Mamba і коли приблизно?
    • OpenAI у 2018 році
    • Альберт Гу і Трі Дао наприкінці 2023 року
    • Google у 2015 році
    • Ніхто, це гіпотетично
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input