Co je inferenční koncový bod? Definice | AI Understanding

Definice

Nasazené rozhraní API, které přijímá požadavky na model a vrací předpovědi v produkci.

Související pojmy

API (Application Programming Interface)

Strukturovaný způsob, jak jeden softwarový systém posílat požadavky a přijímat odpovědi z jiného systému.

Fáze běhu, kdy trénovaný model generuje předpovědi nebo výstupy.

Fakturace podle použití

Ceny, kde se náklady škálují pomocí volání API, tokenů, doby odvození nebo spotřebovaného výpočtu.

Výpočet inferenčního času

Množství výpočetního výkonu spotřebovaného při vytváření každé odpovědi.

Rozhodovací strom

Model, který vytváří předpovědi prostřednictvím sekvence rozdělení prvků if-then.

Kombinace předpovědí z více modelů pro zlepšení robustnosti nebo přesnosti.

Více se dozvíte v našich bezplatných průvodcích

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Viz také

Human Preference Model Knowledge Base Guarded Decoding Latent Space Groundedness Model Registry Feature Store On-Device AI

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI