Quiz połączony z przewodnikiem · Średni Poziom
Quiz dotyczący wzorców rzadkiej uwagi
Porównaj lokalne, rozszerzone, losowe i globalne połączenia rzadkiej uwagi oraz sposób, w jaki zoptymalizowane jądra pomijają nieużywane wpisy w przetwarzaniu długich danych wejściowych.
Pytanie 1 z 8
Dlaczego pełna samouważność jest kosztowna w przypadku długich sekwencji?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Dlaczego pełna samouważność jest kosztowna w przypadku długich sekwencji?
- Jego koszt rośnie wraz z kwadratem długości sekwencji
- Nie może używać procesorów graficznych
- Działa tylko na krótkich słowach
- W ogóle nie wymaga pamięci
- Czym jest uwaga przesuwanego okna (lokalna)?
- Każdy token należy do losowej bazy danych
- Każdy token obsługuje tylko swoich pobliskich sąsiadów
- Żetony nigdy do niczego nie służą
- Każdy token obsługuje wszystkie tokeny dwukrotnie
- Jaki jest cel „globalnych tokenów” w rzadkiej uwadze?
- Aby spowolnić model
- Do przechowywania obrazów
- Działać jako węzły, które zajmują się wszystkim i którym wszystko się zajmuje
- Aby zastąpić słownictwo
- Który model udowodnił, że połączenie uwagi przypadkowej, okienkowej i globalnej pozwala zachować ekspresję pełnej uwagi?
- ResNet
- Word2Vec
- AlexNet
- Wielki Ptak
- Jak w przybliżeniu skaluje się liczba połączeń w dobrze zaprojektowanej rzadkiej uwadze?
- Mniej więcej liniowo z długością sekwencji
- Kwadratowo z długością sekwencji
- To nie zależy od długości
- Wykładniczo z długością sekwencji
- What do strided or dilated sparse-attention patterns allow?
- Oblicza je, a następnie ustawia na zero
- Skip ahead to reach distant context with fewer attention links
- Wysyła je na inny serwer
- Przechowuje je na stałe
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query