KI-Glossarbegriff

Was ist Spekulative Dekodierung?

Definition

Eine Inferenzbeschleunigungsmethode, bei der ein kleines Entwurfsmodell Token vorschlägt, die ein größeres Modell parallel überprüft.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

Nutzungsbasierte AbrechnungPreisgestaltung, bei der die Kosten mit API-Aufrufen, Token, Inferenzzeit oder verbrauchter Rechenleistung skalieren.Schiebefenster AchtungEin Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.SchlussfolgerungDie Laufzeitphase, in der ein trainiertes Modell Vorhersagen oder Ausgaben generiert.RAG (Retrieval‑Augmented Generation)Eine Methode, die externes Wissen abruft und es zum Zeitpunkt der Inferenz in die Generierung einspeist.Top-K-ProbenahmeEine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.Destilliertes ModellEin kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Siehe auch

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output