除去サンプリング微調整クイズ

クイズに答えると、答えと解説が表示されます。

1. リジェクション サンプリングの微調整によってモデルがどのように改善されるかを最もよく説明しているのはどのループですか?
   • 多数の回答候補を生成し、最もスコアの高い回答を保持し、それらを再トレーニングします。
   • 最もパフォーマンスの悪いモデル レイヤーを削除する
   • すべてのトレーニング データを拒否して最初からやり直す
   • 一度サンプリングすれば、常に出力を受け入れることができます
2. 数学やコードなどの検証可能な領域では、何が報酬として機能するのでしょうか?
   • 学習された報酬モデルのみ
   • 答えが正しいか、テストに合格するか
   • 応答の長さ
   • 生成されたトークンの数
3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
   • GPT-4o
   • BERT Base
   • Meta’s Llama 2-Chat
   • Whisper Large
4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
   • It never needs a candidate generator or scoring rule
   • It guarantees no reward hacking
   • It always requires less compute than every RL method
   • It can use supervised learning on selected generations instead of updating through policy-gradient RL
5. 最大報酬サンプルでのトレーニングは効果的に何をしますか?
   • N 最高の品質をモデルの単一サンプル出力に抽出します
   • 語彙のサイズを増やす
   • モデルのテキスト生成機能を削除します
   • パラメータ数を2倍にします
6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
   • モデルパラメータの数のみ
   • Output diversity alongside held-out correctness
   • Whether every answer uses the same wording
   • Only the training loss on selected samples
7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
   • It can only be used with image labels
   • It always changes the tokenizer
   • It cannot train on a high-quality answer that was never generated or retained
   • It makes the scoring function unnecessary
8. What risk arises if the scoring model used to filter candidates is flawed?
   • The policy becomes unable to generate any text
   • The tokenizer automatically changes vocabulary
   • The reference labels become unnecessary
   • The policy may learn to exploit the scorer rather than improve the intended quality