Was ist Anwesenheitsstrafe?

Eine Dekodierungseinstellung, die die Wahrscheinlichkeit von Token proportional dazu verringert, wie oft sie bisher aufgetaucht sind.

Eine Dekodierungseinstellung, die die Wahrscheinlichkeit von Token verringert, die das Modell bereits produziert hat, um Schleifen zu reduzieren.

Eine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.

Eine Generierungsstrategie, die Ausgabetokens auf gültige Strukturen oder richtlinienkonforme Auswahlmöglichkeiten beschränkt.

Eine Inferenzbeschleunigungsmethode, bei der ein kleines Entwurfsmodell Token vorschlägt, die ein größeres Modell parallel überprüft.

Gespeicherte Schlüssel- und Werttensoren früherer Token, die es Transformatoren ermöglichen, neue Token zu generieren, ohne die bisherige Aufmerksamkeit neu zu berechnen.