Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zu Encoder-Decoder-Architekturen

Überprüfen Sie die Komponenten des Encoder-Decoder-Modells, die Aufmerksamkeit von Quelle zu Ziel und die Verwendung von Text zu Text bei Übersetzungs- und Sprachaufgaben.

Verwandte FührungspfadeEncoder-Decoder-Architekturen
Frage 1 von 8

Was ist die Hauptaufgabe des Encoders in einem Encoder-Decoder-Modell?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist die Hauptaufgabe des Encoders in einem Encoder-Decoder-Modell?
    • Um die Eingabe zu lesen und sie in umfassende interne Darstellungen umzuwandeln
    • Um die Ausgabe jeweils einzeln zu generieren
    • Um die Ergebnisse der Kandidaten nach Wahrscheinlichkeit zu ordnen
    • Zum Speichern der Trainingsdaten des Modells
  2. Warum verwendet der Decoder maskierte (kausale) Selbstaufmerksamkeit?
    • Um die Eingabe vor dem Encoder zu verbergen
    • Um zu verhindern, dass jede Position während der Generierung zukünftige Token sieht
    • Um die Ausgabe in weniger Token zu komprimieren
    • Um Token zur Regularisierung nach dem Zufallsprinzip fallen zu lassen
  3. Welcher Mechanismus verbindet den Decoder mit den Darstellungen des Encoders?
    • Aussteiger
    • Batch-Normalisierung
    • Gegenseitige Aufmerksamkeit
    • Positionskodierung
  4. Bei welchem dieser Modelle handelt es sich um eine Encoder-Decoder-Architektur (Sequenz-zu-Sequenz)?
    • GPT-3
    • BERT
    • Word2Vec
    • T5
  5. Warum eignet sich das Encoder-Decoder-Design ideal für die Übersetzung?
    • Da es sich bei Eingabe und Ausgabe um unterschiedliche Sequenzen handelt, ist ein vollständiges Verständnis und eine Neugenerierung erforderlich
    • Denn Ein- und Ausgang sind immer gleich lang
    • Denn es muss nie neuer Text generiert werden
    • Weil es die Aufmerksamkeit völlig vermeidet
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text