ガイド連動クイズ · 中 レベル

教師によるシーケンス モデルの強制クイズ

グラウンド トゥルース プレフィックスがシーケンス デコーダーをトレーニングする方法、因果マスクが並列トレーニングをサポートする方法、推論が異なる理由を確認します。

関連するガイドパス教師によるシーケンスモデルの強制導入
質問 1 の 8

教師による強制中、各デコードステップで入力として何が供給されますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 教師による強制中、各デコードステップで入力として何が供給されますか?
    • グラウンドトゥルースの前のトークン
    • モデル自身の以前の予測
    • ランダムなトークン
    • 最終的な出力トークン
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. 教師の強制によって引き起こされるトレーニングとテストの不一致は、次のように知られています。
    • 消えるグラデーション
    • モード崩壊
    • 露出補正
    • ラベル漏れ
  4. Transformer デコーダでは、教師による強制トレーニングをポジション間で並行して実行できるメカニズムは何ですか?
    • ドロップアウト
    • バッチ正規化
    • ビームサーチ
    • 因果的（先読み）注意マスク
  5. 推論の際に、教師による強制を使用できないのはなぜですか?
    • フィードするための将来の真実のトークンはありません
    • 損失機能は使用できません
    • GPUが遅すぎる
    • アテンションマスクが無効になっています
  6. 教師による強制トレーニング中の各ステップで通常どの損失が使用されますか?
    • 生のロジットの平均二乗誤差
    • 予測された分布と真の次のトークンの間のクロスエントロピー
    • 埋め込み時のヒンジ損失
    • コサイン類似度損失
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t