人工智慧術語

什麼是 推測性解碼?

定義

一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。

相關術語

基於使用的計費
成本隨 API 呼叫、令牌、推理時間或消耗的計算而變化的定價。
滑動視窗注意
一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。
推理
經過訓練的模型產生預測或輸出的運行時階段。
RAG（檢索增強生成）
一種檢索外部知識並在推理時輸入生成的方法。
Top-k 採樣
僅從 k 個最有可能的下一個標記中採樣的解碼策略。
蒸餾模型
經過訓練的較小模型可以模仿較大模型的行為，同時在推理時使用較少的計算。

在我們的免費指南中了解更多信息

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

參見

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南