Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Ritka figyelemminták kvíz
Compare local, dilated, random, and global sparse attention connections and how optimized kernels skip unused entries in long-input processing.
kérdés 1 -ból 8
Miért drága a teljes önfigyelés a hosszú sorozatoknál?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miért drága a teljes önfigyelés a hosszú sorozatoknál?
- Költsége a sorozat hosszának négyzetével nő
- Nem használhat GPU-kat
- Csak rövid szavaknál működik
- Egyáltalán nem igényel memóriát
- Mi az a tolóablakos (helyi) figyelem?
- Minden token egy véletlenszerű adatbázishoz tartozik
- Minden token csak a közeli szomszédaira vonatkozik
- A tokenek soha nem foglalkoznak semmivel
- Minden token kétszer foglalkozik az összes tokennel
- Mi a célja a „globális tokenek” gyér figyelemben?
- A modell lassításához
- Képek tárolására
- Csomópontként viselkedni, amely mindennel foglalkozik, és mindennel foglalkozik
- A szókincs pótlására
- Melyik modell bizonyította, hogy a véletlenszerű, az ablakos és a globális figyelem kombinálása megőrzi a teljes figyelem kifejezőkészségét?
- ResNet
- Word2Vec
- AlexNet
- BigBird
- Körülbelül hogyan skálázódik a kapcsolatok száma a jól megtervezett ritka figyelemben?
- Nagyjából lineárisan sorozathosszúsággal
- Kvadratikusan sorozathosszal
- Nem függ a hossztól
- Exponenciálisan a sorozat hosszával
- What do strided or dilated sparse-attention patterns allow?
- Kiszámolja őket, majd nullára állítja őket
- Skip ahead to reach distant context with fewer attention links
- Elküldi őket egy másik szerverre
- Állandóan tárolja őket
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query