LegközelebbKövetkező útmutató
Spekulatív mintavételi ellenőrzés
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
When a language model predicts the next token, it produces a probability distribution over thousands of options. Greedy and top-k methods favor high-probability tokens, which can make text repetitive and bland. Typical sampling, introduced by Meister and colleagues in 2022, takes a different angle rooted in information theory. The model computes its expected information content (the entropy of the distribution). Tokens are then scored by how far their own surprisal sits from that expectation. Typical sampling keeps the set of tokens whose surprisal is closest to the average until their combined probability reaches a threshold, then samples from that set. The method favors tokens whose surprisal is closer to the distribution’s expected surprisal. It does not guarantee human-like wording, factual correctness, or coherence; evaluate outputs on the intended task.
Szépirodalom vagy költészet generálása, ahol a mohó dekódolás unalmas, ismétlődő prózát eredményez, és az írók természetesebb változatosságra vágynak.
A hatékony chatbot olyan válaszokat ad, amelyek elkerülik a robotizált, képletes megfogalmazást, miközben koherensek és aktuálisak maradnak.
Dekódoló jelzőként (typical_p) elérhető a Hugging Face Transformersben a nyílt forráskódú modellkimenetet hangoló fejlesztők számára.
Helyi LLM-futási környezetekben, például a llama.cpp-ben és a text-generation-webui-ban használják a top-p alternatívájaként a gazdagabb, kevésbé degenerált szöveg érdekében.
A tipikus mintavételezés standard opcióvá válik a top-p és top-k mellett az olyan nyílt forráskódú következtetési veremekben, mint a llama.cpp és a Hugging Face Transformers. Növekvő felhasználásra számíthat a kreatív írásban, párbeszédben és történetgenerálásban, ahol a túl biztonságos dekódolás rontja a minőséget. A kutatók alkalmazkodó küszöbértékekkel vegyítik, amelyek kontextusonként változnak, és kombinálják az ismétlési büntetésekkel. Ahogy az információelméleti dekódolás érlelődik, a tipikus mintavétel olyan automatikus, elosztás-tudatos módszereket jelenthet, amelyek megszüntetik a kézzel hangolt hőmérséklet-beállításokat.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass. This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
A tipikus mintavétel azt méri, hogy az egyes tokenek meglepetése milyen messze van a disztribúció entrópiájától, a várt információtartalomtól, megtartva azokat a tokeneket, amelyek meglepetése a legközelebb áll ehhez az átlaghoz.
A nagyon nagy valószínűségű tokennek nagyon alacsony a meglepetése, ami messze lehet az átlagtól, így a tipikus mintavétel kihagyhatja a jelölthalmazból, és inkább a „tipikus” tokenek javára kerülhet.
A módszer arra a hipotézisre támaszkodik, hogy a természetes nyelv az egységes információs arány közelében marad, így az átlaghoz közeli meglepetést hordozó tokeneket részesíti előnyben.
A Tau beállítja a cél kumulatív valószínűségét; az entrópiához legközelebbi tokeneket mindaddig hozzáadjuk, amíg ezek együttes valószínűsége el nem éri a tau-t, meghatározva a mintakészletet.
Typical sampling uses surprisal relative to entropy rather than simply choosing the most likely token.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Spekulatív mintavételi ellenőrzés
Nyelvi AI