人工智能术语

什么是推理？

定义

经过训练的模型生成预测或输出的运行时阶段。

浏览完整的人工智能术语表探索所有免费的人工智能指南

相关术语

推理端点已部署的 API 接口，用于接收模型请求并返回生产中的预测。人在环人类审查、指导或覆盖人工智能输出的工作流程。宪法人工智能一种训练和行为塑造方法，其中模型输出由一组固定的书面原则指导。蒸馏模型经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。基于使用的计费成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。推测性解码一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。

在我们的免费指南中了解更多信息

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

参见

In-Context LearningInference-Time ComputeHyperparameterInstruction TuningIntent ClassificationHallucinationJailbreakGuardrails