対照解読クイズ

クイズに答えると、答えと解説が表示されます。

1. 対照的な解読において、小さな「アマチュア」モデルはどのような役割を果たしますか?
   • 共有障害モードを抑制するために対数確率が減算されます。
   • 最終的な出力テキストを直接生成します。
   • 専門家の間違いに基づいて微調整されています
   • 専門家が不確実な場合、専門家に代わる
2. なぜアマチュアの確率を差し引くと繰り返しが減り、当たり障りのない出力が得られるのでしょうか?
   • アマチュアは決して言葉を繰り返さないように訓練されている
   • 汎用トークンと反復トークンは両方のモデルで好まれるため、コントラストによってそれらが打ち消されます。
   • アマチュアは生成後に重複したトークンを削除します
   • 2 人のモデルが投票すると、繰り返しは不可能になります
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. 対照的デコードにおけるスコア計算式はおおよそどのようなものですか?
   • log p_amateur から log p_expert を引いたもの
   • p_専門家×p_アマチュア
   • 2 つの確率の平均
   • log p_expert から係数を引いた値と log p_amateur の積
5. コントラスト デコードの主な実際的な利点は次のとおりです。
   • 追加のトレーニングなしで推論時に動作します
   • 両方のモデルを一緒に再トレーニングする必要がある
   • 分類タスクでのみ機能します
   • 大規模なモデルが不要になります
6. 対照的なアイデアを単一のモデル自体のレイヤーに拡張する後の方法はどれですか?
   • ビームサーチ
   • DoLa 初期層と後期層を対比する
   • 貪欲なデコード
   • 温度スケーリング
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0.4
   • 0.1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time