Quiz collegato alla guida · Medio Livello

Quiz sui modelli di attenzione scarsa

Confronta le connessioni di attenzione sparsa locali, dilatate, casuali e globali e il modo in cui i kernel ottimizzati saltano le voci inutilizzate nell'elaborazione di input lunghi.

Percorsi guida correlatiModelli di attenzione sparsi
Domanda 1 di 8

Perché la piena autoattenzione è costosa nelle lunghe sequenze?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché la piena autoattenzione è costosa nelle lunghe sequenze?
    • Il suo costo cresce con il quadrato della lunghezza della sequenza
    • Non può utilizzare GPU
    • Funziona solo con parole brevi
    • Non richiede alcuna memoria
  2. Cos’è l’attenzione (locale) della finestra scorrevole?
    • Ogni token partecipa a un database casuale
    • Ogni gettone si occupa solo dei vicini vicini
    • I token non servono mai a nulla
    • Ogni token si occupa di tutti i token due volte
  3. Qual è lo scopo dei "gettoni globali" in caso di scarsa attenzione?
    • Per rallentare il modello
    • Per memorizzare le immagini
    • Agire come hub che si occupano di tutto e a cui tutto si occupa
    • Per sostituire il vocabolario
  4. Quale modello ha dimostrato che la combinazione di attenzione casuale, finestra e globale mantiene la piena espressività dell’attenzione?
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. All'incirca come si ridimensiona il numero di connessioni in un'attenzione sparsa ben progettata?
    • Approssimativamente linearmente con la lunghezza della sequenza
    • Quadraticamente con la lunghezza della sequenza
    • Non dipende dalla lunghezza
    • Esponenziale con la lunghezza della sequenza
  6. What do strided or dilated sparse-attention patterns allow?
    • Li calcola e poi li imposta a zero
    • Skip ahead to reach distant context with fewer attention links
    • Li invia a un altro server
    • Li memorizza in modo permanente
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query