什麼是 推理時間計算?

在回應生成期間使用額外的推理計算來提高品質或推理。

成本隨 API 呼叫、令牌、推理時間或消耗的計算而變化的定價。

經過訓練的較小模型可以模仿較大模型的行為，同時在推理時使用較少的計算。

訓練和運行模型所需的處理資源，通常以 FLOPS 或 GPU 小時來衡量。

一種檢索外部知識並在推理時輸入生成的方法。

使系統更安全、更可控所需的時間、計算或產品速度的額外成本。