引導式測驗 · 中等 等級
序列模型測驗中的教師強制
檢查真實前綴如何訓練序列解碼器、因果掩碼如何支援並行訓練以及推理為何不同。
問題 1 的 8
在教師強制期間,每個解碼步驟的輸入是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在教師強制期間,每個解碼步驟的輸入是什麼?
- 之前的真實標記
- 模型本身之前的預測
- 隨機令牌
- 最終輸出token
- 在教師強制訓練期間,與解碼器輸入 y_(t−1) 配對的目標是什麼?
- The previous ground-truth token
- The next target token y_t
- A token sampled from the validation set
- The maximum-probability output from an earlier training run
- 由教師強迫引起的訓練與測驗不匹配稱為:
- 梯度消失
- 模式崩潰
- 曝光偏差
- 標籤洩漏
- 在 Transformer 解碼器中,什麼機制可以讓教師強制訓練跨位置並行運作?
- 輟學
- 批量歸一化
- 集束搜尋
- 因果(前瞻)注意力掩模
- 在推理時,為什麼不能使用教師強制?
- 沒有真正的未來代幣可供餵養
- 損失函數不可用
- GPU 太慢
- 注意蒙版已停用
- 在教師強制訓練期間,每一步通常會使用哪一種損失?
- 原始 Logits 的均方誤差
- 預測分佈和真實的下一個標記之間的交叉熵
- 嵌入的鉸鏈損失
- 餘弦相似度損耗
- The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
- The model’s prediction for “green”
- The future token after “green”
- The ground-truth previous token “blue”
- A randomly sampled vocabulary item
- At decoder position t, which tokens must a causal attention mask block?
- The source sequence
- All earlier target tokens
- The current position’s own input
- Target tokens at positions later than t