次のトークンの予測クイズ

クイズに答えると、答えと解説が表示されます。

1. 次のトークンの予測モデルは各ステップで何を出力しますか?
   • 次のトークンの語彙にわたる確率分布
   • 決まった単語が 1 つ
   • 文の翻訳
   • 文法のスコア
2. GPT スタイルのデコーダはどのタイプのアテンションを使用しますか?
   • 双方向の注意
   • 将来のトークンを隠す因果的（マスクされた）注意
   • まったく注目されない
   • ランダムな注目
3. ここでの「自己回帰」生成とは何を意味しますか?
   • モデルはすべてのトークンを一度に生成します
   • モデルは平均値に回帰します
   • 新しいトークンはそれぞれ追加され、次のトークンを予測するためにフィードバックされます。
   • トークンはランダムな順序で生成されます
4. 通常、トレーニング中に最小化される損失関数は何ですか?
   • 平均二乗誤差
   • ヒンジの損失
   • コサイン距離
   • 次のトークンにわたるクロスエントロピー
5. サンプリング中に温度を上げるとどうなりますか?
   • 出力をよりランダムかつクリエイティブにする
   • 出力を厳密に決定的にする
   • 語彙のサイズを増やす
   • ソフトマックスレイヤーを削除します
6. 予測の前に、生のテキストは通常どのように準備されますか?
   • 英語に翻訳されています
   • トークナイザーによってトークンに分割される
   • 音声に変換されます
   • 何も加工せずに生文字のままです
7. During next-token training, what is teacher forcing?
   • The model receives future target tokens before the input
   • The model randomly changes the tokenizer at every step
   • The model receives the ground-truth preceding tokens when predicting the next token
   • The model always samples its own previous prediction during training
8. What mismatch can arise because generation feeds back model-produced tokens?
   • The model can no longer use attention
   • The vocabulary disappears after the first token
   • The model’s loss is computed only on images
   • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix