とは何ですか 投機的デコード?

API 呼び出し、トークン、推論時間、または消費されたコンピューティングに応じてコストが変動する価格設定。

コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。

トレーニングされたモデルが予測または出力を生成する実行時フェーズ。

外部の知識を取得し、それを推論時の生成にフィードする方法。

次の可能性が最も高い k 個のトークンのみからサンプリングするデコード戦略。

推論時の計算量を減らしながら、より大きなモデルの動作を模倣するようにトレーニングされた小さなモデル。