引導式測驗 · 硬 等級
預定採樣和曝光偏差測驗
檢查計劃採樣如何改變解碼器上下文、其黃金代幣機率衰減的原因以及採樣的梯度權衡。
問題 1 的 8
暴露偏差的出現是因為用教師強制訓練的模式只以以下條件為條件:
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 暴露偏差的出現是因為用教師強制訓練的模式只以以下條件為條件:
- 真實標記,但在推理時必須使用自己的標記
- 他們自己預測的代幣
- 隨機噪音標記
- 未來代幣
- 訓練期間計畫採樣有什麼作用?
- 始終提供真實的代幣
- 在真實令牌和模型本身的預測之間隨機選擇
- 定期禁用損失函數
- 隨著時間的推移,學習率加倍
- 在計畫採樣的訓練過程中,使用真實標記的機率如何改變?
- 它保持不變
- 它從低開始並增加
- 它從高開始並衰減到零
- 它隨機振盪
- 誰引入了計劃採樣?大概是什麼時候引進的?
- 瓦斯瓦尼等人,2017
- 辛頓等人,2006
- 勒昆等人,1998
- 本吉歐等人,2015
- 在訓練期間反饋採樣令牌的一個公認的技術缺點是:
- 離散採樣步驟是不可微分的,使梯度變得複雜
- 它使訓練完全確定性
- 它不需要驗證數據
- 它消除了嵌入的需要
- 哪一種時間表形狀通常被認為可以降低教師強制機率?
- 常數
- 反 sigmoid 衰減
- 升壓線性增加
- 隨機遊走
- 在解碼步驟中,計劃取樣選擇模型輸出分支,下一個上下文標記是什麼?
- 每次都是下一個真實標記
- 來自單獨驗證序列的令牌
- 從模型的預測分佈中取樣的令牌
- 所有詞彙嵌入的平均值
- 為什麼計劃採樣通常以使用地面實況的高機率開始?
- 它保證梯度無偏
- 它消除了培訓計劃的需要
- 它使推理使用真實標記
- 早期預測效果很差,因此正確的前綴可以穩定初始學習