とは何ですか 従量制課金?

各応答の生成中に消費される処理電力の量。

品質または推論を向上させるために応答生成中に使用される追加の推論計算。

小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。

コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。

トレーニングされたモデルが予測または出力を生成する実行時フェーズ。

外部の知識を取得し、それを推論時の生成にフィードする方法。