DalšíDalší průvodce
Ověření spekulativního odběru vzorků
Jazyk AI
Jazyk AI GUIDE
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass.
Poslechněte si tento návodAI-vyprávěný · ~2 min
This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
When a language model predicts the next token, it produces a probability distribution over thousands of options. Greedy and top-k methods favor high-probability tokens, which can make text repetitive and bland. Typical sampling, introduced by Meister and colleagues in 2022, takes a different angle rooted in information theory. The model computes its expected information content (the entropy of the distribution). Tokens are then scored by how far their own surprisal sits from that expectation. Typical sampling keeps the set of tokens whose surprisal is closest to the average until their combined probability reaches a threshold, then samples from that set. The method favors tokens whose surprisal is closer to the distribution’s expected surprisal. It does not guarantee human-like wording, factual correctness, or coherence; evaluate outputs on the intended task.
Vytváření fikce nebo poezie, kde chamtivé dekódování produkuje nudnou, opakující se prózu a spisovatelé chtějí přirozenější rozmanitost.
Posílené odpovědi chatbota, které se vyhýbají robotickému, formulovanému frázování a přitom zůstávají koherentní a aktuální.
K dispozici jako příznak dekódování (typické_p) v Hugging Face Transformers pro vývojáře, kteří ladí výstup modelu s otevřeným zdrojovým kódem.
Používá se v místních runtimech LLM, jako je llama.cpp a text-generation-webui jako alternativa k top-p pro bohatší a méně zdegenerovaný text.
Typické vzorkování se stává standardní možností vedle top-p a top-k v open-source inferencích, jako je lama.cpp a Hugging Face Transformers. Očekávejte rostoucí využití v kreativním psaní, dialogu a generování příběhů, kde příliš bezpečné dekódování snižuje kvalitu. Výzkumníci to kombinují s adaptivními prahy, které se posouvají podle kontextu, a kombinují to s tresty za opakování. Jak informační teoretické dekódování dospívá, typické vzorkování může informovat o automatických metodách založených na distribuci, které vyřazují ručně laděné nastavení teploty.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass. This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
Typické vzorkování měří, jak daleko je překvapení každého tokenu od entropie distribuce, očekávaného informačního obsahu, přičemž jsou ponechány tokeny, jejichž překvapení je nejblíže tomuto průměru.
Token s velmi vysokou pravděpodobností má velmi nízké překvapení, které může být daleko od průměru, takže typické vzorkování jej může vynechat ze sady kandidátů ve prospěch „typickejších“ tokenů.
Metoda čerpá z hypotézy, že přirozený jazyk zůstává blízko jednotné informační rychlosti, takže upřednostňuje tokeny nesoucí téměř průměrné překvapení.
Tau nastavuje cílovou kumulativní pravděpodobnost; žetony, které jsou nejblíže entropii, se přidávají, dokud jejich kombinovaná pravděpodobnost nedosáhne tau, definující soubor, ze kterého se má vzorek odebírat.
Typical sampling uses surprisal relative to entropy rather than simply choosing the most likely token.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Ověření spekulativního odběru vzorků
Jazyk AI