Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zu spärlichen Aufmerksamkeitsmustern

Vergleichen Sie lokale, erweiterte, zufällige und globale Verbindungen mit geringer Aufmerksamkeit und wie optimierte Kernel ungenutzte Einträge bei der Verarbeitung langer Eingaben überspringen.

Verwandte FührungspfadeSpärliche Aufmerksamkeitsmuster
Frage 1 von 8

Warum ist volle Selbstaufmerksamkeit bei langen Sequenzen teuer?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Warum ist volle Selbstaufmerksamkeit bei langen Sequenzen teuer?
    • Seine Kosten wachsen mit dem Quadrat der Sequenzlänge
    • Es können keine GPUs verwendet werden
    • Es funktioniert nur bei kurzen Wörtern
    • Es erfordert überhaupt keinen Speicher
  2. Was ist (lokale) Sliding-Window-Aufmerksamkeit?
    • Jeder Token verwaltet eine zufällige Datenbank
    • Jeder Token kümmert sich nur um seine Nachbarn in der Nähe
    • Token kümmern sich nie um irgendetwas
    • Jeder Token kümmert sich zweimal um alle Token
  3. Welchen Zweck haben „globale Token“ bei geringer Aufmerksamkeit?
    • Um das Modell zu verlangsamen
    • Zum Speichern von Bildern
    • Als Knotenpunkte fungieren, die sich um alles kümmern und um die sich alles kümmert
    • Um den Wortschatz zu ersetzen
  4. Welches Modell hat bewiesen, dass durch die Kombination von Zufalls-, Fenster- und globaler Aufmerksamkeit die Ausdruckskraft bei voller Aufmerksamkeit erhalten bleibt?
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. Wie skaliert ungefähr die Anzahl der Verbindungen bei gut gestalteter, spärlicher Aufmerksamkeit?
    • Ungefähr linear mit der Sequenzlänge
    • Quadratisch mit Sequenzlänge
    • Es kommt nicht auf die Länge an
    • Exponentiell mit der Sequenzlänge
  6. What do strided or dilated sparse-attention patterns allow?
    • Berechnet sie und setzt sie dann auf Null
    • Skip ahead to reach distant context with fewer attention links
    • Sendet sie an einen anderen Server
    • Speichert sie dauerhaft
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query