Was ist Spekulative Dekodierung?

Preisgestaltung, bei der die Kosten mit API-Aufrufen, Token, Inferenzzeit oder verbrauchter Rechenleistung skalieren.

Ein Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.

Die Laufzeitphase, in der ein trainiertes Modell Vorhersagen oder Ausgaben generiert.

Eine Methode, die externes Wissen abruft und es zum Zeitpunkt der Inferenz in die Generierung einspeist.

Eine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.

Ein kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.