引導式測驗 · 中等 等級

序列模型測驗中的教師強制

檢查真實前綴如何訓練序列解碼器、因果掩碼如何支援並行訓練以及推理為何不同。

問題 1 的 8

在教師強制期間,每個解碼步驟的輸入是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在教師強制期間,每個解碼步驟的輸入是什麼?
    • 之前的真實標記
    • 模型本身之前的預測
    • 隨機令牌
    • 最終輸出token
  2. 在教師強制訓練期間,與解碼器輸入 y_(t−1) 配對的目標是什麼?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. 由教師強迫引起的訓練與測驗不匹配稱為:
    • 梯度消失
    • 模式崩潰
    • 曝光偏差
    • 標籤洩漏
  4. 在 Transformer 解碼器中,什麼機制可以讓教師強制訓練跨位置並行運作?
    • 輟學
    • 批量歸一化
    • 集束搜尋
    • 因果(前瞻)注意力掩模
  5. 在推理時,為什麼不能使用教師強制?
    • 沒有真正的未來代幣可供餵養
    • 損失函數不可用
    • GPU 太慢
    • 注意蒙版已停用
  6. 在教師強制訓練期間,每一步通常會使用哪一種損失?
    • 原始 Logits 的均方誤差
    • 預測分佈和真實的下一個標記之間的交叉熵
    • 嵌入的鉸鏈損失
    • 餘弦相似度損耗
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t