引導式測驗 · 中等 等級

ELMo 上下文嵌入測驗

了解 ELMo 的雙向語言模型如何創建上下文相關的詞向量並結合下游任務的循環層。

相關引導路徑Elmo 上下文嵌入
問題 1 的 8

ELMo 和 Word2Vec 等早期嵌入之间的主要区别是什么?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. ELMo 和 Word2Vec 等早期嵌入之间的主要区别是什么?
    • ELMo 根据句子上下文给出相同单词不同的向量
    • ELMo 使用較小的向量
    • ELMo 仅适用于单个单词,不适用于句子
    • ELMo 不需要訓練數據
  2. ELMo 使用什麼神經架構來閱讀文字?
    • 具有自註意力的 Transformer
    • 深度雙向 LSTM 語言模型
    • 卷積圖像網絡
    • 一個簡單的前饋網絡
  3. ELMo 如何结合其内部层来执行下游任务?
    • 它僅使用最終的頂層
    • 它平均所有層並固定結果
    • 它使用所有层的学习的、特定于任务的加权组合
    • 它每次隨機選擇一層
  4. ELMo 使用什么作为输入单元来处理未见过的单词?
    • 僅全字查找
    • 固定字典 ID
    • 來自 BERT 的位元組對編碼子字
    • 字元級 CNN 表示
  5. ELMo 大約是什麼時候由誰引進的?
    • 2018 年,艾伦人工智能研究所研究人员
    • 2013 年,Google 的 Word2Vec 团队
    • 2020 年,作者:OpenAI
    • 2015 年,Facebook 人工智慧
  6. 在 ELMo 論文中描述的雙向語言模型是使用哪個語料庫訓練的?
    • One Billion Word 基準測試
    • 僅 Penn Treebank
    • 標記影像語料庫
    • GloVe Common Crawl 向量
  7. ELMo 的前向 LSTM 學習什麼語言模型預測?
    • 根據未來語境預測前一個詞
    • 為每個文件分配固定向量
    • 根據前置語境預測下一個詞
    • 預測句子圖像解析度
  8. ELMo 的下層和上層 LSTM 層傾向捕捉哪些語言資訊?
    • 下層編碼圖像顏色,上層編碼音頻音高
    • 每層僅儲存單字頻率,忽略語境
    • 上層始終僅限於標點符號預測
    • 下層傾向語法,上層捕捉更多語境依賴的語意