什麼是 推理?

已部署的 API 接口，用於接收模型請求並返回生產中的預測。

人類審查、指導或涵蓋人工智慧輸出的工作流程。

一種訓練和行為塑造方法，其中模型輸出由一組固定的書面原則指導。

經過訓練的較小模型可以模仿較大模型的行為，同時在推理時使用較少的計算。

成本隨 API 呼叫、令牌、推理時間或消耗的計算而變化的定價。

一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。