とは何ですか 保護されたデコード?

次の可能性が最も高い k 個のトークンのみからサンプリングするデコード戦略。

確率の合計が p になる最小のトークン セットからサンプリングする復号化戦略。

モデル出力を検証し、厳密に型指定されたマシンで使用可能な構造に変換するロジック。

小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。

ループを減らすためにモデルがすでに生成したトークンの確率を下げるデコード設定。

これまでのトークンの出現頻度に比例してトークンの確率を下げるデコード設定。