人工智能术语

什么是 推测性解码?

定义

一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。

相关术语

基于使用的计费
成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。
滑动窗口注意
一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。
推理
经过训练的模型生成预测或输出的运行时阶段。
RAG（检索增强生成）
一种检索外部知识并在推理时将其输入生成的方法。
Top-k 采样
仅从 k 个最有可能的下一个标记中采样的解码策略。
蒸馏模型
经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。

在我们的免费指南中了解更多信息

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

参见

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output
浏览完整的人工智能术语表探索所有免费的人工智能指南