What is Inference? Definition | AI Understanding

定义

经过训练的模型生成预测或输出的运行时阶段。

相关术语

已部署的 API 接口，用于接收模型请求并返回生产中的预测。

人类审查、指导或覆盖人工智能输出的工作流程。

宪法人工智能

一种训练和行为塑造方法，其中模型输出由一组固定的书面原则指导。

经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。

基于使用的计费

成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。

推测性解码

一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。

在我们的免费指南中了解更多信息

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

参见

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

浏览完整的人工智能术语表探索所有免费的人工智能指南