引導式測驗 · 中等 等級
編碼器-解碼器架構測驗
查看翻譯和語言任務中的編碼器-解碼器模型組件、源到目標注意力以及文本到文本的使用。
問題 1 的 8
編碼器-解碼器模型中編碼器的主要工作是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 編碼器-解碼器模型中編碼器的主要工作是什麼?
- 讀取輸入並將其轉換為豐富的內部表示
- 一次產生一個令牌的輸出
- 按機率對候選輸出進行排名
- 儲存模型的訓練數據
- 為什麼解碼器使用屏蔽(因果)自註意力?
- 隱藏編碼器的輸入
- 防止每個位置在生成過程中看到未來的代幣
- 將輸出壓縮為更少的標記
- 隨機丟棄標記以進行正規化
- 什麼機制將解碼器連接到編碼器的表示?
- 輟學
- 批量歸一化
- 交叉注意力
- 位置編碼
- 下列哪一個模型是編碼器-解碼器(序列到序列)架構?
- GPT-3
- 伯特
- 詞向量
- T5
- 為什麼編碼器-解碼器設計非常適合翻譯?
- 因為輸入和輸出是不同的序列,需要充分理解然後新生代
- 因為輸入和輸出總是相同的長度
- 因為它永遠不需要產生新文本
- 因為它完全避免了使用注意力
- In the original Transformer architecture, what attention does the encoder use over its input sequence?
- Causal attention that hides all earlier source tokens
- Bidirectional self-attention over the full source sequence
- Cross-attention only to an image sequence
- No attention mechanism
- What training objective does BART use for pretraining?
- It predicts only the next pixel in an image
- It classifies each word into a fixed sentiment label
- It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
- It performs speech recognition from raw audio
- How does T5 frame many NLP tasks for one encoder-decoder model?
- As image classification with a shared label set
- As speech waveforms with no text tokens
- As separate model architectures for each task
- As text-to-text inputs and outputs with task descriptions in the input text