Kvíz spojený s průvodcem · Střední úroveň

Kvíz o vzorech řídké pozornosti

Porovnejte místní, rozšířená, náhodná a globální připojení s řídkou pozorností a jak optimalizovaná jádra přeskakují nepoužívané položky při zpracování dlouhých vstupů.

Související vodicí cestyŘídké vzory pozornosti
Otázka 1 z 8

Proč je plné sebepozorování drahé na dlouhých sekvencích?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč je plné sebepozorování drahé na dlouhých sekvencích?
    • Jeho cena roste s druhou mocninou délky sekvence
    • Nemůže používat GPU
    • Funguje pouze na krátká slova
    • Nevyžaduje vůbec žádnou paměť
  2. Co je to posuvná okna (místní) pozornost?
    • Každý token se stará o náhodnou databázi
    • Každý žeton se věnuje pouze svým blízkým sousedům
    • Žetony se nikdy ničemu nevěnují
    • Každý žeton se věnuje všem žetonům dvakrát
  3. Jaký je účel „globálních tokenů“ v řídké pozornosti?
    • Pro zpomalení modelu
    • K ukládání obrázků
    • Fungovat jako centra, která se o všechno starají a o které se všechno stará
    • K nahrazení slovní zásoby
  4. Který model dokázal, že kombinace náhodné, okenní a globální pozornosti zachovává plnou expresivitu pozornosti?
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. Jak se zhruba mění počet připojení v dobře navržené řídké pozornosti?
    • Zhruba lineárně s délkou sekvence
    • Kvadraticky s délkou sekvence
    • Nezáleží na délce
    • Exponenciálně s délkou sekvence
  6. What do strided or dilated sparse-attention patterns allow?
    • Vypočítá je a poté je nastaví na nulu
    • Skip ahead to reach distant context with fewer attention links
    • Odešle je na jiný server
    • Ukládá je trvale
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query