Тест, свързан с ръководство · трудно Ниво

Мамба и селективни държавни пространства Тест

Прегледайте зависещите от входа SSM параметри на Mamba, състояние с фиксиран размер, обработка на последователност в линейно време и хардуерно паралелно сканиране.

Свързани ръководни пътекиМамба и селективни пространства на състояния
Въпрос 1 на 8

Кое е основното изчислително предимство на Mamba пред стандартен Transformer?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Кое е основното изчислително предимство на Mamba пред стандартен Transformer?
    • Мащабира се линейно с дължината на последователността вместо квадратично
    • Не се нуждае от данни за обучение
    • Работи само върху изображения
    • Премахва необходимостта от скрито състояние
  2. Какво означава думата „селективен“ в Mamba?
    • Той избира на кой GPU да работи
    • Неговите SSM параметри зависят от входния токен, така че може да избере какво да запомни или забрави
    • Избира само съществителни и глаголи
    • Той избира произволно подмножество от токени, които да игнорира
  3. Как моделът на пространството на състоянието представя историята на последователност?
    • Чрез изрично съхраняване на всеки предишен токен
    • Като начертаете карта на вниманието върху всички двойки
    • Чрез компресиране на историята в скрито състояние с фиксиран размер, актуализирано стъпка по стъпка
    • Не пази никаква история
  4. Защо Mamba не може да използва прекия път за бърза конволюция, който използваха по-ранните SSM?
    • Тъй като навивките са незаконни на GPU
    • Защото няма параметри
    • Тъй като обработва токени в произволен ред
    • Тъй като правенето на параметри, зависими от входа, прекъсва, навивките на инвариантността във времето изискват
  5. Каква техника използва Mamba, за да остане бърз, въпреки че губи прекия път за навиване?
    • Хардуерно паралелно сканиране, съхранявано в бърза GPU памет
    • Работи изцяло на процесора
    • Кеширане на всички двойки токени
    • Пропускане на по-голямата част от последователността
  6. Кой представи Mamba и кога приблизително?
    • OpenAI през 2018 г
    • Алберт Гу и Три Дао в края на 2023 г
    • Google през 2015 г
    • Никой, хипотетично е
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input