KI-Glossarbegriff

Was ist Schlussfolgerung?

Definition

Die Laufzeitphase, in der ein trainiertes Modell Vorhersagen oder Ausgaben generiert.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

InferenzendpunktEine bereitgestellte API-Schnittstelle, die Modellanfragen empfängt und Vorhersagen in der Produktion zurückgibt.Mensch-in-der-SchleifeEin Arbeitsablauf, bei dem Menschen KI-Ausgaben überprüfen, steuern oder überschreiben.Verfassungsmäßige KIEin Trainings- und Verhaltensformungsansatz, bei dem die Modellergebnisse von einem festen Satz schriftlicher Prinzipien geleitet werden.Destilliertes ModellEin kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.Nutzungsbasierte AbrechnungPreisgestaltung, bei der die Kosten mit API-Aufrufen, Token, Inferenzzeit oder verbrauchter Rechenleistung skalieren.Spekulative DekodierungEine Inferenzbeschleunigungsmethode, bei der ein kleines Entwurfsmodell Token vorschlägt, die ein größeres Modell parallel überprüft.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Siehe auch

In-Context LearningInference-Time ComputeHyperparameterInstruction TuningIntent ClassificationHallucinationJailbreakGuardrails