Mit dem Guide verknüpftes Quiz · Mittel Ebene

Kreuzaufmerksamkeitsquiz

Verstehen Sie, wie eine Sequenz oder Modalität durch Queraufmerksamkeit Darstellungen einer anderen Sequenz oder Modalität in Transformatormodellen abfragen kann.

Verwandte FührungspfadeQueraufmerksamkeit
Frage 1 von 8

Was ist der Hauptunterschied zwischen Selbstaufmerksamkeit und Queraufmerksamkeit?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist der Hauptunterschied zwischen Selbstaufmerksamkeit und Queraufmerksamkeit?
    • Bei der Kreuzaufmerksamkeit kommen Abfragen von einer Sequenz und Schlüssel/Werte von einer anderen
    • Queraufmerksamkeit verwendet kein Softmax
    • Selbstaufmerksamkeit funktioniert nur bei Bildern
    • Kreuzaufmerksamkeit kann nicht mit Gradientenabstieg trainiert werden
  2. Woher kommen in einem Encoder-Decoder-Transformer die Abfragen für Queraufmerksamkeit?
    • Die Ausgänge des Encoders
    • Der aktuelle Status des Decoders
    • Nur die rohen Eingabeeinbettungen
    • Eine separate Zufallsmatrix
  3. Warum können die beiden Sequenzen der gegenseitigen Aufmerksamkeit unterschiedliche Längen oder Modalitäten haben?
    • Weil Aufmerksamkeit Eingaben gleicher Länge erfordert
    • Weil es eine der Sequenzen vollständig ignoriert
    • Denn Abfragen und Schlüssel stammen aus unterschiedlichen, unabhängigen Quellen
    • Weil es zuerst alles auf eine feste Größe auffüllt
  4. Wie nutzt Stable Diffusion Queraufmerksamkeit?
    • Um Bilder in kleinere Dateien zu komprimieren
    • Text zwischen Sprachen übersetzen
    • Um Rauschen aus Audio zu entfernen
    • Um generierte Bildbereiche anhand der Textaufforderung zu konditionieren
  5. Welche mathematische Operation hat Kreuzaufmerksamkeit mit Selbstaufmerksamkeit gemeinsam?
    • Skalierte Punktproduktaufmerksamkeit mit einem Softmax
    • Faltung über Pixel
    • Wiederkehrende Statusaktualisierungen
    • Hartcodierte Nachschlagetabellen
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs