ガイド連動クイズ · 中 レベル

Best-of-N のサンプリングと再ランキングのクイズ

ベストオブ N の選択、スコアラーの制限、推論時間のコスト、およびより多くの候補をサンプリングする背後にある確率の仮定を理解します。

関連するガイドパスBest Of N のサンプリングと再ランキング
質問 1 の 8

Best-of-N サンプリングの中心的な考え方は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. Best-of-N サンプリングの中心的な考え方は何ですか?
    • N 個の候補出力を生成し、スコアラーで最適なものを選択します
    • モデルを N 回トレーニングし、重みを平均します
    • モデルが生成する最初の出力のみを使用する
    • 語彙を N 個のトークンに減らす
  2. When is best-of-N most likely to help?
    • When every output is equally good
    • When the model sometimes samples a correct candidate and a reliable verifier can identify it
    • When the task has no way to assess candidates
    • When sampling is disabled
  3. Best-of-N が実際に結果を改善するかどうかを主に決定するものは何でしょうか?
    • ユーザーインターフェースの色
    • プロンプトのみの長さ
    • スコアラーまたは検証者の品質と堅牢性
    • モデルの語彙サイズ
  4. What can happen when N becomes large and the reward model is an imperfect proxy?
    • The model’s tokenizer is removed
    • The model forgets its training weights
    • All candidates become identical
    • Selection can favor outputs that exploit scorer errors and reduce true quality
  5. 自己一貫性とも呼ばれる単純な再ランキング戦略はどれですか?
    • サンプル回答間の多数決
    • 最も長い答えを選ぶ
    • ランダムなサンプルの選択
    • 常に最も確率の低い出力を採用する
  6. What mainly drives the generation cost of best-of-N?
    • Only the number of vocabulary entries
    • The total amount of text generated across the sampled candidates
    • The user interface color
    • The number of model training runs
  7. If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
    • p/N
    • N−p
    • 1−(1−p)^N
    • 1−p^N
  8. Which assumption is needed for the simple 1−(1−p)^N success formula?
    • Every response has a different length
    • The model is retrained after each sample
    • The reward model has no parameters
    • The candidate samples are independent and the verifier recognizes success perfectly