What is Inference? Definition | AI Understanding

Definition

Die Laufzeitphase, in der ein trainiertes Modell Vorhersagen oder Ausgaben generiert.

Verwandte Begriffe

Inferenzendpunkt

Eine bereitgestellte API-Schnittstelle, die Modellanfragen empfängt und Vorhersagen in der Produktion zurückgibt.

Human-in-the-Loop

Ein Arbeitsablauf, bei dem Menschen KI-Ausgaben überprüfen, steuern oder überschreiben.

Verfassungsmäßige KI

Ein Trainings- und Verhaltensformungsansatz, bei dem die Modellergebnisse von einem festen Satz schriftlicher Prinzipien geleitet werden.

Destilliertes Modell

Ein kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.

Nutzungsbasierte Abrechnung

Preisgestaltung, bei der die Kosten mit API-Aufrufen, Token, Inferenzzeit oder verbrauchter Rechenleistung skalieren.

Spekulative Dekodierung

Eine Inferenzbeschleunigungsmethode, bei der ein kleines Entwurfsmodell Token vorschlägt, die ein größeres Modell parallel überprüft.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

See also

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

Durchsuchen Sie das vollständige KI-Glossar Entdecken Sie alle kostenlosen KI-Anleitungen