Kvíz spojený s průvodcem · Střední úroveň
Kvíz o vzorech řídké pozornosti
Porovnejte místní, rozšířená, náhodná a globální připojení s řídkou pozorností a jak optimalizovaná jádra přeskakují nepoužívané položky při zpracování dlouhých vstupů.
Otázka 1 z 8
Proč je plné sebepozorování drahé na dlouhých sekvencích?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč je plné sebepozorování drahé na dlouhých sekvencích?
- Jeho cena roste s druhou mocninou délky sekvence
- Nemůže používat GPU
- Funguje pouze na krátká slova
- Nevyžaduje vůbec žádnou paměť
- Co je to posuvná okna (místní) pozornost?
- Každý token se stará o náhodnou databázi
- Každý žeton se věnuje pouze svým blízkým sousedům
- Žetony se nikdy ničemu nevěnují
- Každý žeton se věnuje všem žetonům dvakrát
- Jaký je účel „globálních tokenů“ v řídké pozornosti?
- Pro zpomalení modelu
- K ukládání obrázků
- Fungovat jako centra, která se o všechno starají a o které se všechno stará
- K nahrazení slovní zásoby
- Který model dokázal, že kombinace náhodné, okenní a globální pozornosti zachovává plnou expresivitu pozornosti?
- ResNet
- Word2Vec
- AlexNet
- BigBird
- Jak se zhruba mění počet připojení v dobře navržené řídké pozornosti?
- Zhruba lineárně s délkou sekvence
- Kvadraticky s délkou sekvence
- Nezáleží na délce
- Exponenciálně s délkou sekvence
- What do strided or dilated sparse-attention patterns allow?
- Vypočítá je a poté je nastaví na nulu
- Skip ahead to reach distant context with fewer attention links
- Odešle je na jiný server
- Ukládá je trvale
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query