Liniowy quiz uwagi RWKV

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest główna cecha RWKV?
   • Trenuje jak Transformer, ale wyciąga wnioski jak RNN
   • Można go trenować tylko na obrazach
   • Wymaga kwadratowej pamięci podręcznej klucz-wartość
   • Nie da się tego w ogóle porównywać
2. Co oznaczają litery w RWKV?
   • Czytaj, zapisuj, przechowuj, sprawdzaj
   • Recepcja, waga, klucz, wartość
   • Powtarzające się, szerokie, jądro, wektor
   • Losowe, ważone, wiedza, zmienność
3. W jaki sposób RWKV utrzymuje stałą pamięć podczas generowania?
   • Usuwając wagi modelu
   • Przechowując każdy token na dysku
   • Przenosząc mały ukryty stan o stałym rozmiarze, zamiast rosnącej pamięci podręcznej
   • Ograniczając wyniki do dziesięciu tokenów
4. Jaką rolę odgrywa waga zaniku czasu (W)?
   • Określa tempo uczenia się
   • Liczy liczbę żetonów
   • Wybiera język wyjściowy
   • Kontroluje, jak szybko starsze informacje tracą wpływ
5. Czego w porównaniu z uwagą softmax unika nawrót uwagi liniowej RWKV?
   • Kwadratowe porównanie tokenów wszystkich par
   • Jakiekolwiek użycie kluczy i wartości
   • Potrzeba osadzania
   • Zastosowanie sieci neuronowych
6. Dlaczego RWKV szczególnie dobrze nadaje się do generowania strumieniowego?
   • Ponieważ musi zobaczyć całe wejście przed jakimkolwiek wyjściem
   • Ponieważ każdy nowy token zależy tylko od poprzedniego stanu o stałym rozmiarze
   • Ponieważ nie może generować tekstu
   • Ponieważ potrzebuje klastra GPU dla każdego tokena
7. W opisie RWKV przewodnika, czym steruje bramka recepcyjna?
   • Ile łat obrazu jest generowanych
   • Rozmiar słownika modelowego
   • Jaka część zgromadzonego stanu jest odczytywana
   • Ilość dostępnej pamięci GPU
8. Jakie właściwości szkoleniowe RWKV zachowuje z Transformers?
   • Pełne kwadratowe buforowanie wartości klucza przy wnioskowaniu
   • Oddzielny generator i dyskryminator
   • Stały router tokenowy top-k w każdej warstwie
   • Trening równoległy w pozycjach sekwencji