スケジュールされたサンプリングと露出バイアスに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 露出バイアスが発生するのは、教師が次の条件のみを強制してトレーニングされたモデルであるためです。
   • グラウンドトゥルース トークンですが、推論時には独自のトークンを使用する必要があります
   • 独自の予測トークン
   • ランダムノイズトークン
   • 将来のトークン
2. スケジュールされたサンプリングはトレーニング中に何を行いますか?
   • 常に真のトークンをフィードします
   • 真のトークンとモデル自身の予測のどちらかをランダムに選択します
   • 損失関数を定期的に無効にします
   • 時間の経過とともに学習率が2倍になります
3. グラウンドトゥルース トークンを使用する確率は、スケジュールされたサンプリングでのトレーニングによってどのように変化しますか?
   • 一定のままです
   • 低く始まり、増加します
   • 高く始まり、ゼロに向かって減衰します
   • ランダムに振動します
4. 計画的サンプリングを導入したのは誰ですか、そしておおよそいつですか?
   • バスワニら、2017
   • ヒントン他、2006
   • ルカンら、1998
   • ベンジオ他、2015
5. トレーニング中にサンプリングされたトークンをフィードバックすることの技術的な欠点として認識されているのは、次のとおりです。
   • 離散サンプリング ステップは微分不可能であり、勾配が複雑になる
   • トレーニングを完全に決定的なものにします
   • 検証データは必要ありません
   • 埋め込みの必要がなくなります
6. 教師による強制の確率を低下させるためによく挙げられるスケジュールの形はどれですか?
   • 定数
   • 逆シグモイド減衰
   • ステップアップ直線増加
   • ランダムウォーク
7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
   • The next ground-truth token every time
   • A token from a separate validation sequence
   • A token sampled from the model’s predicted distribution
   • The average of all vocabulary embeddings
8. Why does scheduled sampling usually begin with a high probability of using ground truth?
   • It guarantees unbiased gradients
   • It removes the need for a training schedule
   • It makes inference use ground-truth tokens
   • Early predictions are poor, so a correct prefix can stabilize initial learning