什麼是 基於使用的計費?

產生每個回應時消耗的處理能力。

在回應生成期間使用額外的推理計算來提高品質或推理。

一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。

一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。

經過訓練的模型產生預測或輸出的運行時階段。

一種檢索外部知識並在推理時輸入生成的方法。