Temperatur und Probenahme
Temperatur und Sampling sind die Regler, die steuern, wie „zufällig“ oder „sicher“ der Wortlaut eines Sprachmodells ist.
Übersicht
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
Tiefer Einblick
Bei jedem Schritt gibt ein Sprachmodell nicht direkt ein Wort aus – es erzeugt für jedes Token in seinem Vokabular eine Punktzahl (einen „Logit“), die Softmax in eine Wahrscheinlichkeitsverteilung umwandelt. Beim Sampling wird der nächste Token aus dieser Verteilung ausgewählt. Die Temperatur formt die Verteilung vor der Auswahl neu: Bei niedriger Temperatur dominieren die Top-Auswahlmöglichkeiten, sodass die Ausgabe fokussiert und wiederholbar ist. Bei hoher Temperatur wird es abgeflacht, wodurch unwahrscheinliche Spielsteine hineinschlüpfen und für mehr Abwechslung (und mehr Fehler) sorgen. Zwei beliebte Filter grenzen zunächst den Pool ein. Top-k behält nur die k Token mit der höchsten Wahrscheinlichkeit. Top-p oder Nucleus Sampling behält den kleinsten Satz von Token, deren Wahrscheinlichkeiten sich zu p summieren (z. B. 0,9), sodass der Pool wächst, wenn das Modell unsicher ist, und kleiner wird, wenn es sicher ist. Zusammengenommen wägen diese Einstellungen Zuverlässigkeit und Kreativität ab.
Technischer Einblick
Bei der Temperatur wird jedes Logit vor Softmax durch T dividiert: Die Wahrscheinlichkeit ist proportional zu exp(Logit / T). T unter 1 verschärft die Lücken, sodass der oberste Token dominiert; T über 1 verkleinert die Lücken und flacht die Verteilung ab. Bei T nahe 0 wird das Modell effektiv gierig und nimmt immer den wahrscheinlichsten Token. Top-k begrenzt die Anzahl der Kandidaten auf eine feste Zahl, während top-p einen Grenzwert für die kumulative Wahrscheinlichkeit festlegt, sodass sich die Anzahl der Kandidaten daran anpasst, wie sicher das Modell in diesem Schritt ist.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
Zugang und Erreichbarkeit
Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
Klarere Entscheidungen
Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Die Zukunft von Temperatur und Probenahme
Diese Steuerelemente sind stabil und gut verständlich, sodass die Aktion in intelligenteren Standardeinstellungen und neueren Varianten erfolgt. Erwarten Sie adaptivere Schemata wie min-p (das den Grenzwert auf die Wahrscheinlichkeit des obersten Tokens skaliert) und dynamische Temperatur, die sich in der Mitte der Generation ändert. Die Tools wählen die Einstellungen zunehmend automatisch pro Aufgabe aus – niedrig für Code und Extraktion, höher für Brainstorming –, sodass Benutzer nicht manuell anpassen müssen. Die Kernidee bleibt bestehen: Sampling ist der einfache, kraftvolle Drehknopf zwischen deterministischer Präzision und kreativer Vielfalt.
Reale Umsetzung
Stellen Sie die Temperatur für die Codegenerierung oder Datenextraktion auf nahe 0 ein, wenn Sie jedes Mal die gleiche richtige Antwort wünschen
Erhöhen Sie die Temperatur auf etwa 0,8–1,0, um Namen, Slogans oder Ideen für Geschichten zu sammeln, um vielfältige Optionen zu erhalten
Bei Verwendung von top-p um 0,9 wählt das Modell nur die plausibelsten Wörter aus und vermeidet bizarre Token
Anwenden von Top-K, um Kandidaten zu begrenzen und zu verhindern, dass seltene, nicht zum Thema gehörende Wörter in einer kundenorientierten Antwort auftauchen
Risiken und Leitplanken
Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Implementierungs-Roadmap
Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Kern- und Top-k-Probenahme
Häufig gestellte Fragen
What is Temperature and Sampling?
Temperatur und Sampling sind die Regler, die steuern, wie „zufällig“ oder „sicher“ der Wortlaut eines Sprachmodells ist. Sie entscheiden, ob Sie jedes Mal die gleiche vorhersehbare Antwort oder eine frische, abwechslungsreiche Formulierung erhalten.
Welche Auswirkungen hat eine Erhöhung der Temperatur auf die Ausgabe eines Modells?
Höhere Temperaturen glätten die Wahrscheinlichkeitsverteilung, sodass weniger wahrscheinliche Token häufiger ausgewählt werden, was zu einem abwechslungsreicheren (und riskanteren) Output führt.
Wie unterscheidet sich die Top-p-(Kern-)Probenahme von der Top-k-Probenahme?
Top-p passt die Kandidatenmenge anhand der kumulativen Wahrscheinlichkeit an, während top-k immer eine feste Anzahl von Top-Tokens behält.
Was macht die Temperatur eigentlich mechanisch mit den Logits?
Die Temperatur dividiert jeden Logit durch T vor Softmax; T unter 1 schärft die Verteilung, T über 1 flacht sie ab.
Welche Einstellung ist normalerweise am besten, um Code zu generieren oder strukturierte Daten zu extrahieren?
Aufgaben, die Korrektheit und Wiederholbarkeit erfordern, verwenden sehr niedrige Temperaturen, sodass das Modell zuverlässig die wahrscheinlichsten und korrektesten Token auswählt.
Was passiert bei einer Temperatur von effektiv 0?
Nahe der Nulltemperatur ist die Verteilung so scharf, dass immer das Token mit der höchsten Wahrscheinlichkeit gewählt wird – gierige Dekodierung.