引導式測驗 · 硬 等級

預定採樣和曝光偏差測驗

檢查計劃採樣如何改變解碼器上下文、其黃金代幣機率衰減的原因以及採樣的梯度權衡。

相關引導路徑預定採樣和曝光偏差
問題 1 的 8

暴露偏差的出現是因為用教師強制訓練的模式只以以下條件為條件:

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 暴露偏差的出現是因為用教師強制訓練的模式只以以下條件為條件:
    • 真實標記,但在推理時必須使用自己的標記
    • 他們自己預測的代幣
    • 隨機噪音標記
    • 未來代幣
  2. 訓練期間計畫採樣有什麼作用?
    • 始終提供真實的代幣
    • 在真實令牌和模型本身的預測之間隨機選擇
    • 定期禁用損失函數
    • 隨著時間的推移,學習率加倍
  3. 在計畫採樣的訓練過程中,使用真實標記的機率如何改變?
    • 它保持不變
    • 它從低開始並增加
    • 它從高開始並衰減到零
    • 它隨機振盪
  4. 誰引入了計劃採樣?大概是什麼時候引進的?
    • 瓦斯瓦尼等人,2017
    • 辛頓等人,2006
    • 勒昆等人,1998
    • 本吉歐等人,2015
  5. 在訓練期間反饋採樣令牌的一個公認的技術缺點是:
    • 離散採樣步驟是不可微分的,使梯度變得複雜
    • 它使訓練完全確定性
    • 它不需要驗證數據
    • 它消除了嵌入的需要
  6. 哪一種時間表形狀通常被認為可以降低教師強制機率?
    • 常數
    • 反 sigmoid 衰減
    • 升壓線性增加
    • 隨機遊走
  7. 在解碼步驟中,計劃取樣選擇模型輸出分支,下一個上下文標記是什麼?
    • 每次都是下一個真實標記
    • 來自單獨驗證序列的令牌
    • 從模型的預測分佈中取樣的令牌
    • 所有詞彙嵌入的平均值
  8. 為什麼計劃採樣通常以使用地面實況的高機率開始?
    • 它保證梯度無偏
    • 它消除了培訓計劃的需要
    • 它使推理使用真實標記
    • 早期預測效果很差,因此正確的前綴可以穩定初始學習