引导式测验 · 中等 等级

ELMo 上下文嵌入测验

了解 ELMo 的双向语言模型如何创建上下文相关的词向量并结合下游任务的循环层。

相关引导路径Elmo 上下文嵌入
问题 1 的 8

ELMo 和 Word2Vec 等早期嵌入之间的主要区别是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. ELMo 和 Word2Vec 等早期嵌入之间的主要区别是什么？
    • ELMo 根据句子上下文给出相同单词不同的向量
    • ELMo 使用较小的向量
    • ELMo 仅适用于单个单词，不适用于句子
    • ELMo 不需要训练数据
  2. ELMo 使用什么神经架构来阅读文本？
    • 具有自注意力的 Transformer
    • 深度双向 LSTM 语言模型
    • 卷积图像网络
    • 一个简单的前馈网络
  3. ELMo 如何结合其内部层来执行下游任务？
    • 它仅使用最终的顶层
    • 它平均所有层并固定结果
    • 它使用所有层的学习的、特定于任务的加权组合
    • 它每次随机选择一层
  4. ELMo 使用什么作为输入单元来处理未见过的单词？
    • 仅全字查找
    • 固定字典 ID
    • 来自 BERT 的字节对编码子字
    • 字符级 CNN 表示
  5. ELMo 大约是什么时候由谁引入的？
    • 2018 年，艾伦人工智能研究所研究人员
    • 2013 年，Google 的 Word2Vec 团队
    • 2020 年，作者：OpenAI
    • 2015 年，Facebook 人工智能
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics