引導式測驗 · 中等 等級

序列到序列模型測驗

了解編碼器-解碼器模型如何使用注意力和交叉注意力機制將輸入序列映射到不同長度的輸出。

相關引導路徑序列到序列模型
問題 1 的 8

序列到序列模型的兩個主要組成部分是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 序列到序列模型的兩個主要組成部分是什麼?
    • 編碼器和解碼器
    • 分詞器和分類器
    • 兩個相同的編碼器
    • 過濾器和排名器
  2. Attention機制在seq2seq模型中解決了什麼關鍵問題?
    • 代幣化緩慢
    • 長輸入的固定長度向量瓶頸
    • 缺乏詞彙量
    • 訓練資料過多
  3. 2014 年最初的 seq2seq 翻譯模型使用什麼架構?
    • 卷積網絡
    • 決策樹
    • 堆疊 LSTM
    • 裸前饋層
  4. 注意力如何為每個解碼步驟建立上下文?
    • 透過平均所有輸入標記
    • 完全忽略編碼器
    • 透過複製最後一個輸入令牌
    • 透過使用對齊分數的編碼器狀態的加權和
  5. 為什麼 seq2seq 輸出的長度與輸入的長度不同?
    • 解碼器產生令牌,直到發出停止訊號
    • 輸入和輸出的長度始終相等
    • 編碼器填充一切
    • 長度預先決定
  6. 哪些現代模型是流行的基於 Transformer 的 seq2seq 架構?
    • ResNet 和 VGG
    • T5 和 BART
    • K 均值和 PCA
    • Word2Vec 和 GloVe
  7. 在編碼器-解碼器注意力中,哪些表示通常用作鍵和值?
    • 只有解碼器的未來隱藏狀態
    • 詞彙表檔案的位元組偏移量
    • 編碼器的輸出表示
    • 優化器的學習率歷史記錄
  8. 雙向編碼器為基於注意力的解碼器提供了什麼?
    • 無論輸入如何,固定的單令牌輸出
    • 保證輸出長度等於輸入長度
    • 未來目標代幣的因果面具
    • 可以使用來自兩個方向的資訊的來源標記的上下文表示