学习新闻工具职位使命

人工智能术语

什么是推理端点？

定义

已部署的 API 接口，用于接收模型请求并返回生产中的预测。

浏览完整的人工智能术语表探索所有免费的人工智能指南

API（应用程序编程接口）一种软件系统向另一个系统发送请求并接收响应的结构化方式。推理经过训练的模型生成预测或输出的运行时阶段。基于使用的计费成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。推理时间计算生成每个响应时消耗的处理能力。决策树通过一系列 if-then 特征分割进行预测的模型。合奏团结合多个模型的预测以提高鲁棒性或准确性。

在我们的免费指南中了解更多信息

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

参见

Human Preference Model Knowledge Base Guarded Decoding Latent Space Groundedness Model Registry Feature Store On-Device AI