VolgendeVolgende gids
Speculatieve bemonsteringsverificatie
Taal AI
Taal AI-GIDS
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass.
Luister naar deze gidsAI-verteld · ~2 min
This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
When a language model predicts the next token, it produces a probability distribution over thousands of options. Greedy and top-k methods favor high-probability tokens, which can make text repetitive and bland. Typical sampling, introduced by Meister and colleagues in 2022, takes a different angle rooted in information theory. The model computes its expected information content (the entropy of the distribution). Tokens are then scored by how far their own surprisal sits from that expectation. Typical sampling keeps the set of tokens whose surprisal is closest to the average until their combined probability reaches a threshold, then samples from that set. The method favors tokens whose surprisal is closer to the distribution’s expected surprisal. It does not guarantee human-like wording, factual correctness, or coherence; evaluate outputs on the intended task.
Het genereren van fictie of poëzie waarbij hebzuchtige decodering saai, repetitief proza oplevert en schrijvers meer natuurlijke variatie willen.
Het aandrijven van chatbot-antwoorden die robotachtige, formule-achtige frasering vermijden, terwijl ze coherent en on-topic blijven.
Beschikbaar als decoderingsvlag (typisch_p) in Hugging Face Transformers voor ontwikkelaars die de uitvoer van open source-modellen afstemmen.
Gebruikt in lokale LLM-runtimes zoals llama.cpp en text-generation-webui als alternatief voor top-p voor rijkere, minder gedegenereerde tekst.
Typische sampling wordt een standaardoptie naast top-p en top-k in open-source inferentiestapels zoals llama.cpp en Hugging Face Transformers. Verwacht een groeiend gebruik bij creatief schrijven, dialoog en het genereren van verhalen, waarbij te veilige decodering de kwaliteit schaadt. Onderzoekers combineren dit met adaptieve drempels die per context verschuiven en combineren dit met herhalingsboetes. Naarmate de informatietheoretische decodering volwassener wordt, kunnen typische bemonsteringen leiden tot automatische, distributiebewuste methoden die met de hand afgestemde temperatuurinstellingen achterwege laten.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass. This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
Typische steekproeven meten hoe ver de verrassing van elk token verwijderd is van de entropie van de distributie, de verwachte informatie-inhoud, waarbij tokens behouden blijven waarvan de verrassing het dichtst bij dat gemiddelde ligt.
Een token met een zeer hoge waarschijnlijkheid heeft een zeer lage verrassing, die verre van het gemiddelde kan zijn, dus typische steekproeven kunnen het buiten de kandidaat-set laten ten gunste van meer 'typische' tokens.
De methode is gebaseerd op de hypothese dat natuurlijke taal dicht bij een uniforme informatiesnelheid blijft, en geeft daarom de voorkeur aan tokens die een bijna gemiddelde verrassing met zich meebrengen.
Tau stelt de beoogde cumulatieve waarschijnlijkheid in; tokens die het dichtst bij de entropie liggen, worden toegevoegd totdat hun gecombineerde waarschijnlijkheid tau bereikt, waardoor de set wordt gedefinieerd waaruit moet worden gesampled.
Typical sampling uses surprisal relative to entropy rather than simply choosing the most likely token.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Speculatieve bemonsteringsverificatie
Taal AI