什么是基于使用情况的计费？定义 | AI Understanding

定义

成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。

相关术语

推理时间计算

生成每个响应时消耗的处理能力。

测试时计算

在响应生成期间使用额外的推理计算来提高质量或推理。

推测性解码

一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。

滑动窗口注意

一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。

经过训练的模型生成预测或输出的运行时阶段。

RAG（检索增强生成）

一种检索外部知识并在推理时将其输入生成的方法。

在我们的免费指南中了解更多信息

Entropy-Based Sampling Energy-Based Models Score-Based Generative Models WaveGlow Flow-Based Vocoder

参见

Trust Calibration Zero Data Retention Structured Output KV Cache Shadow Deployment MCP (Model Context Protocol)Safety Case Agentic Loop

浏览完整的人工智能术语表探索所有免费的人工智能指南