Test legat de ghid · Mediu Nivel

Test cu modele de atenție redusă

Comparați conexiunile locale, dilatate, aleatorii și globale cu atenție redusă și modul în care nucleele optimizate omit intrările neutilizate în procesarea lungă a intrărilor.

Căi de ghidare aferenteModele rare de atenție
Întrebare 1 de 8

De ce este costisitoare autoatenția completă pe secvențe lungi?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. De ce este costisitoare autoatenția completă pe secvențe lungi?
    • Costul său crește odată cu pătratul lungimii secvenței
    • Nu poate folosi GPU-uri
    • Funcționează doar pe cuvinte scurte
    • Nu necesită deloc memorie
  2. Ce este atenția cu fereastră glisantă (locală)?
    • Fiecare jeton se ocupă de o bază de date aleatoare
    • Fiecare jeton se ocupă doar de vecinii săi din apropiere
    • Jetoanele nu se ocupă niciodată de nimic
    • Fiecare jetoane se ocupă de toate jetoanele de două ori
  3. Care este scopul „jetoanelor globale” în atenție redusă?
    • Pentru a încetini modelul
    • Pentru a stoca imagini
    • Să acționeze ca niște hub-uri care se ocupă de orice și la care totul se ocupă
    • Pentru a înlocui vocabularul
  4. Care model a dovedit că combinarea atenției aleatorii, ferestrei și globale păstrează expresivitatea atenției deplină?
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. Cum crește numărul de conexiuni într-o atenție limitată bine concepută?
    • Aproximativ liniar cu lungimea secvenței
    • Patratic cu lungimea secvenței
    • Nu depinde de lungime
    • Exponențial cu lungimea secvenței
  6. What do strided or dilated sparse-attention patterns allow?
    • Le calculează și apoi le setează la zero
    • Skip ahead to reach distant context with fewer attention links
    • Le trimite la alt server
    • Le stochează permanent
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query