とは何ですか Top-k サンプリング?

確率の合計が p になる最小のトークン セットからサンプリングする復号化戦略。

出力トークンを有効な構造またはポリシーに準拠した選択肢に制限する生成戦略。

ほんの少数の例から行動を学習または適応すること。

モデルが真の次のトークンにどれだけ驚いたかを測定する言語モデルのメトリクス。

小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。

以前のトークンから保存されたキーと値のテンソルにより、トランスフォーマーは過去のアテンションを再計算することなく新しいトークンを生成できます。