What is Inference Endpoint? Definition | AI Understanding

定义

已部署的 API 接口，用于接收模型请求并返回生产中的预测。

相关术语

API（应用程序编程接口）

一种软件系统向另一个系统发送请求并接收响应的结构化方式。

经过训练的模型生成预测或输出的运行时阶段。

基于使用的计费

成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。

推理时间计算

生成每个响应时消耗的处理能力。

通过一系列 if-then 特征分割进行预测的模型。

结合多个模型的预测以提高鲁棒性或准确性。

在我们的免费指南中了解更多信息

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

参见

Human Preference Model Knowledge Base Guarded Decoding Latent Space Groundedness Model Registry Feature Store On-Device AI

浏览完整的人工智能术语表探索所有免费的人工智能指南