Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Ritka figyelemminták kvíz

Compare local, dilated, random, and global sparse attention connections and how optimized kernels skip unused entries in long-input processing.

Kapcsolódó útmutató utakRitka figyelemminta
kérdés 1 -ból 8

Miért drága a teljes önfigyelés a hosszú sorozatoknál?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miért drága a teljes önfigyelés a hosszú sorozatoknál?
    • Költsége a sorozat hosszának négyzetével nő
    • Nem használhat GPU-kat
    • Csak rövid szavaknál működik
    • Egyáltalán nem igényel memóriát
  2. Mi az a tolóablakos (helyi) figyelem?
    • Minden token egy véletlenszerű adatbázishoz tartozik
    • Minden token csak a közeli szomszédaira vonatkozik
    • A tokenek soha nem foglalkoznak semmivel
    • Minden token kétszer foglalkozik az összes tokennel
  3. Mi a célja a „globális tokenek” gyér figyelemben?
    • A modell lassításához
    • Képek tárolására
    • Csomópontként viselkedni, amely mindennel foglalkozik, és mindennel foglalkozik
    • A szókincs pótlására
  4. Melyik modell bizonyította, hogy a véletlenszerű, az ablakos és a globális figyelem kombinálása megőrzi a teljes figyelem kifejezőkészségét?
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. Körülbelül hogyan skálázódik a kapcsolatok száma a jól megtervezett ritka figyelemben?
    • Nagyjából lineárisan sorozathosszúsággal
    • Kvadratikusan sorozathosszal
    • Nem függ a hossztól
    • Exponenciálisan a sorozat hosszával
  6. What do strided or dilated sparse-attention patterns allow?
    • Kiszámolja őket, majd nullára állítja őket
    • Skip ahead to reach distant context with fewer attention links
    • Elküldi őket egy másik szerverre
    • Állandóan tárolja őket
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query