引导式测验 · 中等 等级

编码器-解码器架构测验

回顾编码器-解码器模型组件、源到目标的注意力以及文本到文本在翻译和语言任务中的使用。

相关引导路径编码器解码器架构
问题 1 的 8

编码器-解码器模型中编码器的主要工作是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 编码器-解码器模型中编码器的主要工作是什么？
    • 读取输入并将其转换为丰富的内部表示
    • 一次生成一个令牌的输出
    • 按概率对候选输出进行排名
    • 存储模型的训练数据
  2. 为什么解码器使用屏蔽（因果）自注意力？
    • 隐藏编码器的输入
    • 防止每个位置在生成过程中看到未来的代币
    • 将输出压缩为更少的标记
    • 随机丢弃标记以进行正则化
  3. 什么机制将解码器连接到编码器的表示？
    • 辍学
    • 批量归一化
    • 交叉注意力
    • 位置编码
  4. 以下哪个模型是编码器-解码器（序列到序列）架构？
    • GPT-3
    • 伯特
    • 词向量
    • T5
  5. 为什么编码器-解码器设计非常适合翻译？
    • 因为输入和输出是不同的序列，需要充分理解然后新生代
    • 因为输入和输出总是相同的长度
    • 因为它永远不需要生成新文本
    • 因为它完全避免了使用注意力
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text