引導式測驗 · 中等 等級

編碼器-解碼器架構測驗

查看翻譯和語言任務中的編碼器-解碼器模型組件、源到目標注意力以及文本到文本的使用。

相關引導路徑編碼器解碼器架構
問題 1 的 8

編碼器-解碼器模型中編碼器的主要工作是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 編碼器-解碼器模型中編碼器的主要工作是什麼?
    • 讀取輸入並將其轉換為豐富的內部表示
    • 一次產生一個令牌的輸出
    • 按機率對候選輸出進行排名
    • 儲存模型的訓練數據
  2. 為什麼解碼器使用屏蔽(因果)自註意力?
    • 隱藏編碼器的輸入
    • 防止每個位置在生成過程中看到未來的代幣
    • 將輸出壓縮為更少的標記
    • 隨機丟棄標記以進行正規化
  3. 什麼機制將解碼器連接到編碼器的表示?
    • 輟學
    • 批量歸一化
    • 交叉注意力
    • 位置編碼
  4. 下列哪一個模型是編碼器-解碼器(序列到序列)架構?
    • GPT-3
    • 伯特
    • 詞向量
    • T5
  5. 為什麼編碼器-解碼器設計非常適合翻譯?
    • 因為輸入和輸出是不同的序列,需要充分理解然後新生代
    • 因為輸入和輸出總是相同的長度
    • 因為它永遠不需要產生新文本
    • 因為它完全避免了使用注意力
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text