KI-Glossarbegriff

Was ist Top-K-Probenahme?

Definition

Eine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

Top-p (Kern)-ProbenahmeEine Dekodierungsstrategie, die Stichproben aus dem kleinsten Token-Satz macht, dessen Wahrscheinlichkeiten sich zu p summieren.Geschützte DekodierungEine Generierungsstrategie, die Ausgabetokens auf gültige Strukturen oder richtlinienkonforme Auswahlmöglichkeiten beschränkt.Few-Shot-LernenVerhalten aus nur wenigen Beispielen lernen oder anpassen.PerplexityEine Sprachmodellmetrik, die misst, wie überrascht das Modell von echten nächsten Token ist.Spekulative DekodierungEine Inferenzbeschleunigungsmethode, bei der ein kleines Entwurfsmodell Token vorschlägt, die ein größeres Modell parallel überprüft.KV-CacheGespeicherte Schlüssel- und Werttensoren früherer Token, die es Transformatoren ermöglichen, neue Token zu generieren, ohne die bisherige Aufmerksamkeit neu zu berechnen.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

Siehe auch

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt