KI-Glossarbegriff

Was ist Anwesenheitsstrafe?

Definition

Eine Dekodierungseinstellung, die die Wahrscheinlichkeit verringert, dass Token überhaupt aufgetaucht sind, und so neue Themen anregt.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

FrequenzstrafeEine Dekodierungseinstellung, die die Wahrscheinlichkeit von Token proportional dazu verringert, wie oft sie bisher aufgetaucht sind.WiederholungsstrafeEine Dekodierungseinstellung, die die Wahrscheinlichkeit von Token verringert, die das Modell bereits produziert hat, um Schleifen zu reduzieren.Top-K-ProbenahmeEine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.Geschützte DekodierungEine Generierungsstrategie, die Ausgabetokens auf gültige Strukturen oder richtlinienkonforme Auswahlmöglichkeiten beschränkt.Spekulative DekodierungEine Inferenzbeschleunigungsmethode, bei der ein kleines Entwurfsmodell Token vorschlägt, die ein größeres Modell parallel überprüft.KV-CacheGespeicherte Schlüssel- und Werttensoren früherer Token, die es Transformatoren ermöglichen, neue Token zu generieren, ohne die bisherige Aufmerksamkeit neu zu berechnen.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Repetition Penalty and Decoding Controls

Siehe auch

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking