とは何ですか 周波数ペナルティ?

トークンが出現する確率を減らし、新しい話題を促すデコード設定。

ループを減らすためにモデルがすでに生成したトークンの確率を下げるデコード設定。

モデルが真の次のトークンにどれだけ驚いたかを測定する言語モデルのメトリクス。

次の可能性が最も高い k 個のトークンのみからサンプリングするデコード戦略。

出力トークンを有効な構造またはポリシーに準拠した選択肢に制限する生成戦略。

小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。