KI-Glossarbegriff

Was ist Inferenzendpunkt?

Definition

Eine bereitgestellte API-Schnittstelle, die Modellanfragen empfängt und Vorhersagen in der Produktion zurückgibt.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

API (Anwendungsprogrammierschnittstelle)Eine strukturierte Möglichkeit für ein Softwaresystem, Anfragen an ein anderes System zu senden und Antworten von diesem zu empfangen.SchlussfolgerungDie Laufzeitphase, in der ein trainiertes Modell Vorhersagen oder Ausgaben generiert.Nutzungsbasierte AbrechnungPreisgestaltung, bei der die Kosten mit API-Aufrufen, Token, Inferenzzeit oder verbrauchter Rechenleistung skalieren.InferenzzeitberechnungDie Menge an Rechenleistung, die bei der Erstellung jeder Antwort verbraucht wird.EntscheidungsbaumEin Modell, das Vorhersagen durch eine Folge von Wenn-Dann-Merkmalsaufteilungen trifft.EnsembleKombinieren von Vorhersagen aus mehreren Modellen zur Verbesserung der Robustheit oder Genauigkeit.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Siehe auch

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI