Quiz collegato alla guida · Medio Livello
Quiz sui modelli di attenzione scarsa
Confronta le connessioni di attenzione sparsa locali, dilatate, casuali e globali e il modo in cui i kernel ottimizzati saltano le voci inutilizzate nell'elaborazione di input lunghi.
Domanda 1 di 8
Perché la piena autoattenzione è costosa nelle lunghe sequenze?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché la piena autoattenzione è costosa nelle lunghe sequenze?
- Il suo costo cresce con il quadrato della lunghezza della sequenza
- Non può utilizzare GPU
- Funziona solo con parole brevi
- Non richiede alcuna memoria
- Cos’è l’attenzione (locale) della finestra scorrevole?
- Ogni token partecipa a un database casuale
- Ogni gettone si occupa solo dei vicini vicini
- I token non servono mai a nulla
- Ogni token si occupa di tutti i token due volte
- Qual è lo scopo dei "gettoni globali" in caso di scarsa attenzione?
- Per rallentare il modello
- Per memorizzare le immagini
- Agire come hub che si occupano di tutto e a cui tutto si occupa
- Per sostituire il vocabolario
- Quale modello ha dimostrato che la combinazione di attenzione casuale, finestra e globale mantiene la piena espressività dell’attenzione?
- ResNet
- Word2Vec
- AlexNet
- BigBird
- All'incirca come si ridimensiona il numero di connessioni in un'attenzione sparsa ben progettata?
- Approssimativamente linearmente con la lunghezza della sequenza
- Quadraticamente con la lunghezza della sequenza
- Non dipende dalla lunghezza
- Esponenziale con la lunghezza della sequenza
- What do strided or dilated sparse-attention patterns allow?
- Li calcola e poi li imposta a zero
- Skip ahead to reach distant context with fewer attention links
- Li invia a un altro server
- Li memorizza in modo permanente
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query