Quiz Mamba i selektywne przestrzenie stanów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest główna przewaga obliczeniowa Mamby nad standardowym Transformerem?
   • Skaluje się liniowo wraz z długością sekwencji, a nie kwadratowo
   • Nie potrzebuje danych treningowych
   • Działa tylko na obrazach
   • Eliminuje potrzebę stosowania jakiegokolwiek stanu ukrytego
2. Do czego odnosi się słowo „selektywny” w Mambie?
   • Wybiera, na którym procesorze graficznym ma działać
   • Jego parametry SSM zależą od tokena wejściowego, więc może wybrać, co zapamiętać, a co zapomnieć
   • Wybiera tylko rzeczowniki i czasowniki
   • Wybiera losowy podzbiór tokenów do zignorowania
3. W jaki sposób model przestrzeni stanów reprezentuje historię sekwencji?
   • Przechowując jawnie każdy poprzedni token
   • Rysując mapę uwagi na wszystkich parach
   • Kompresując historię do ukrytego stanu o stałym rozmiarze, aktualizowanego krok po kroku
   • Nie przechowuje żadnej historii
4. Dlaczego Mamba nie może używać skrótu szybkiego splotu, którego używały wcześniejsze SSM?
   • Ponieważ sploty są nielegalne na procesorach graficznych
   • Bo nie ma parametrów
   • Ponieważ przetwarza tokeny w losowej kolejności
   • Ponieważ uzależnianie parametrów od danych wejściowych przerywa wymagane sploty niezmienności czasu
5. Jakiej techniki używa Mamba, aby zachować szybkość pomimo utraty skrótu splotu?
   • Skanowanie równoległe uwzględniające sprzęt, przechowywane w szybkiej pamięci GPU
   • Działa całkowicie na procesorze
   • Buforowanie wszystkich par tokenów
   • Pomijanie większości sekwencji
6. Kto i mniej więcej kiedy wprowadził Mambę?
   • OpenAI w 2018 r
   • Albert Gu i Tri Dao pod koniec 2023 r
   • Google w 2015 r
   • Nikt, to hipotetyczne
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input