学习新闻工具职位使命

人工智能术语

什么是推理时间计算？

定义

生成每个响应时消耗的处理能力。

浏览完整的人工智能术语表探索所有免费的人工智能指南

测试时计算在响应生成期间使用额外的推理计算来提高质量或推理。基于使用的计费成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。蒸馏模型经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。计算训练和运行模型所需的处理资源，通常以 FLOPS 或 GPU 小时来衡量。RAG（检索增强生成）一种检索外部知识并在推理时将其输入生成的方法。结盟税使系统更安全、更可控所需的时间、计算或产品速度方面的额外成本。

在我们的免费指南中了解更多信息

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

参见

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff