Quiz połączony z przewodnikiem · Ciężko Poziom

Modele przestrzeni stanów i quiz Mamba

Testuj złożoność sekwencji w przestrzeni stanów, selektywność Mamby, skanowanie uwzględniające sprzęt, powtarzający się stan wnioskowania i modele hybrydowe.

Powiązane ścieżki prowadząceModele przestrzeni stanów i Mamba
Pytanie 1 z 8

Jak model przestrzeni stanów skaluje się wraz z długością sekwencji w porównaniu ze standardową samouwagą?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jak model przestrzeni stanów skaluje się wraz z długością sekwencji w porównaniu ze standardową samouwagą?
    • Liniowo, a kwadratowe skalowanie uwagi
    • Kwadratowo, w porównaniu do liniowego skalowania uwagi
    • Obydwa skalują się identycznie
    • Wykładniczo dla obu
  2. Jaka jest główna innowacja, którą Mamba dodała do wcześniejszych ustrukturyzowanych rozwiązań SSM, takich jak S4?
    • Używanie uwagi softmax wewnętrznie
    • Uzależnienie parametrów aktualizacji stanu od wejścia (selektywność)
    • Całkowite usunięcie stanu ukrytego
    • Przejście na obliczanie czasu kwadratowego
  3. Dlaczego Mamba potrzebowała niestandardowego skanowania równoległego uwzględniającego sprzęt?
    • Ponieważ procesory graficzne nie mogą wykonywać mnożenia macierzy
    • Aby zmniejszyć liczbę warstw
    • Ponieważ uzależnianie parametrów od danych wejściowych psuje prostą sztuczkę splotu
    • Ponieważ nie używa żadnych wyuczonych parametrów
  4. Podczas wnioskowania kluczową zaletą SSM takiego jak Mamba jest to, że wykorzystuje on:
    • Pamięć rosnąca wraz z pełną długością sekwencji, jak pamięć podręczna KV
    • Brak pamięci
    • Więcej pamięci niż transformator o tej samej wielkości
    • Mniej więcej stała pamięć na wygenerowany token
  5. W klasycznych SSM o strukturze (przed selektywnością) powtarzalność można obliczyć efektywnie, ponieważ można ją przepisać jako:
    • Długi splot
    • Obsługa Softmaxu
    • Drzewo decyzyjne
    • Losowy las
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Stos
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation