Quiz dotyczący uwagi liniowej i jądra wykonawcy

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dlaczego standardowa uwaga softmax słabo skaluje się wraz z długością sekwencji?
   • Jego czas i pamięć rosną wraz z kwadratem długości sekwencji
   • Wymaga sortowania wszystkich tokenów alfabetycznie
   • Może przetwarzać tylko jeden token na raz
   • Potrzebuje osobnej sieci neuronowej na token
2. Jaka właściwość matematyczna pozwala uwagi liniowej uniknąć macierzy n na n?
   • Przemienność dodawania
   • Łączność mnożenia macierzy
   • Prawo rozdzielności softmax
   • Rozkład wartości własnych
3. Do czego przybliża mechanizm Performer’s FAVOR+?
   • Aktualizacje nachylenia gradientu
   • Słownictwo tokenizera
   • Jądro uwagi Softmax
   • Statystyka normalizacji warstw
4. Dlaczego Performer używa dodatnich funkcji losowych zamiast wcześniejszych funkcji trygonometrycznych?
   • Działają szybciej tylko na procesorach
   • Eliminują potrzebę jakiejkolwiek przypadkowości
   • Dzięki nim model jest w pełni interpretowalny
   • Gwarantują nieujemne wagi uwagi i poprawiają stabilność numeryczną
5. Jaka jest przybliżona złożoność uwagi liniowej typu performer w sekwencji o długości n?
   • O(n)
   • O(n^2)
   • O(n log n)
   • O(2^n)
6. Jakie jest powszechne ograniczenie czystej uwagi liniowej w porównaniu z pełną uwagą softmax?
   • Nie może działać na procesorach graficznych
   • Często osiąga nieco niższą jakość modelowania
   • Działa tylko w przypadku obrazów
   • Wymaga oznaczonych danych dla każdego tokena
7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
   • Compute QK^T and store every pairwise score
   • Apply softmax to the full n-by-n matrix first
   • Compute phi(K)^T V before multiplying by phi(Q)
   • Multiply the final output by the sequence length
8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
   • It guarantees exact softmax for every sequence
   • It removes the need for query and key vectors
   • It makes attention quadratic in sequence length
   • It reduces variance in the random-feature estimate