Was ist Top-K-Probenahme?

Eine Dekodierungsstrategie, die Stichproben aus dem kleinsten Token-Satz macht, dessen Wahrscheinlichkeiten sich zu p summieren.

Eine Generierungsstrategie, die Ausgabetokens auf gültige Strukturen oder richtlinienkonforme Auswahlmöglichkeiten beschränkt.

Verhalten aus nur wenigen Beispielen lernen oder anpassen.

Eine Sprachmodellmetrik, die misst, wie überrascht das Modell von echten nächsten Token ist.

Eine Inferenzbeschleunigungsmethode, bei der ein kleines Entwurfsmodell Token vorschlägt, die ein größeres Modell parallel überprüft.

Gespeicherte Schlüssel- und Werttensoren früherer Token, die es Transformatoren ermöglichen, neue Token zu generieren, ohne die bisherige Aufmerksamkeit neu zu berechnen.