ガイド連動クイズ · ハード レベル

典型的なサンプリングクイズ

典型的なサプライズ、エントロピーベースのランキング、typical_p 質量閾値、および確率でランク付けされた上位 p サンプリングとの差異をチェックします。

関連するガイドパス一般的なサンプリング
質問 1 の 8

一般的なサンプリングでは、各候補トークンをどのコア量と比較しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 一般的なサンプリングでは、各候補トークンをどのコア量と比較しますか?
    • 期待される分布の情報内容 (エントロピー)
    • モデルの全体的な語彙サイズ
    • 文中のトークンの位置
    • 温度パラメータのみ
  2. 一般的なサンプリングでは、最も可能性の高い単一のトークンをどのように処理するのでしょうか?
    • 常に最初に選択されます
    • 意外性が期待値を大きく下回る場合は除外する場合があります
    • 確率が2倍になります
    • 確率を完全に無視している
  3. 典型的なサンプリングは、人間の言語についてのどの考えによって動機付けられましたか?
    • 人間は常に可能な限り珍しい言葉を選ぶ
    • 人間は決して言葉を繰り返さない
    • 人間はほぼ一定の速度で情報を伝達します
    • 人間は固定長の文で話します
  4. 一般的なサンプリングにおけるタウパラメータは何を制御しますか?
    • トレーニング中の学習率
    • モデル内のレイヤーの数
    • 文の最大長
    • 典型的なセットに収集された累積確率質量
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. 典型的なサンプリングはどの種類のソフトウェアで開発者に一般的に公開されていますか?
    • スプレッドシートアプリケーション
    • Hugging Face Transformers などのオープンソース LLM 推論ライブラリ
    • 画像編集ツール
    • データベースクエリエンジン
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set