什么是推理时间计算？定义 | AI Understanding

定义

生成每个响应时消耗的处理能力。

相关术语

测试时计算

在响应生成期间使用额外的推理计算来提高质量或推理。

基于使用的计费

成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。

经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。

训练和运行模型所需的处理资源，通常以 FLOPS 或 GPU 小时来衡量。

RAG（检索增强生成）

一种检索外部知识并在推理时将其输入生成的方法。

使系统更安全、更可控所需的时间、计算或产品速度方面的额外成本。

在我们的免费指南中了解更多信息

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

参见

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

浏览完整的人工智能术语表探索所有免费的人工智能指南