反復ペナルティとデコード制御に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 「温度」パラメータを上げるとモデルの出力に何が影響しますか?
   • よりランダムで多様なものになります
   • より決定的で焦点を絞ったものにする
   • モデルの重みを永続的に変更します
   • 生成を高速化します
2. top-p (核) サンプリングはどのトークンを考慮するかをどのように決定しますか?
   • 確率に関係なく一定数のトークンを保持します
   • 確率の合計がしきい値に達する最小のトークンのセットを保持します。
   • 最も可能性の高い単一のトークンのみを保持します
   • 50%以上の確率でトークンを保持します
3. 反復ペナルティは通常どの段階で適用されますか?
   • 生成後の生テキストについて
   • 訓練データについて
   • ソフトマックス前のロジットについて
   • トークナイザーの語彙について
4. OpenAI のテキスト生成 API では、プレゼンスと頻度のペナルティはどのように異なりますか?
   • プレゼンスペナルティはトークン数に応じて調整されます。周波数ペナルティはフラットです
   • それらは同一です
   • どちらも最初のトークンにのみ適用されます
   • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
5. 決定論的なサンプリングが必要なコード補完の場合、どの設定がガイドに最もよく適合しますか?
   • ゼロに近い温度
   • 非常に高い温度
   • 2.0 を超える高い反復ペナルティ
   • 高温でトップ p 1.0
6. Top-K サンプリングは何を行うのでしょうか?
   • トークンの合計を確率 k に保ちます
   • 最も可能性の高い k 個のトークンのみを候補として保持します
   • すべてのロジットを k で乗算します
   • 最も可能性の低い k 個のトークンをトレーニングから削除します
7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
   • It sets every repeated-token logit to zero
   • It adds the penalty to every token equally
   • It divides a positive logit by the penalty and multiplies a negative logit by it
   • It removes the token from the vocabulary permanently
8. How does top-k differ from top-p sampling?
   • Top-k uses cumulative probability while top-p fixes a count
   • Top-k changes model weights while top-p changes the tokenizer
   • They are both deterministic decoding methods
   • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set