とは何ですか 推論?

実稼働環境でモデルのリクエストを受け取り、予測を返すデプロイされた API インターフェイス。

人間が AI 出力をレビュー、ガイド、またはオーバーライドするワークフロー。

モデルの出力が、文書化された一連の固定された原則によって導かれる、トレーニングおよび行動形成のアプローチ。

推論時の計算量を減らしながら、より大きなモデルの動作を模倣するようにトレーニングされた小さなモデル。

API 呼び出し、トークン、推論時間、または消費されたコンピューティングに応じてコストが変動する価格設定。

小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。