DalšíDalší průvodce
Kontroly penalizace za opakování a dekódování
Jazyk AI
Jazyk AI GUIDE
Mirostat is a feedback-based decoding algorithm that aims to regulate the average surprisal of generated tokens toward a target.
Poslechněte si tento návodAI-vyprávěný · ~2 min
In its standard formulation tau specifies a target cross-entropy in bits, corresponding to perplexity 2^tau; it adjusts a truncation threshold, without guaranteeing every passage’s perplexity or factual correctness.
Standard top-k and top-p decoding apply fixed cutoffs, while the predictability of generated text can vary across a passage. Mirostat, proposed by Basu and colleagues in 2020, treats decoding as a feedback-control problem. In the standard formulation, tau is a target average surprisal or cross-entropy in bits; the corresponding perplexity is 2^tau. The sampler measures token surprisal and adjusts a truncation threshold based on the difference from the target. If generated tokens are less surprising than the target, the threshold can be loosened; if they are more surprising, it can be tightened. This aims to regulate average surprise over generation and does not require each token or passage to match the target exactly. It does not measure factual correctness.
Zabránění tomu, aby se generace dlouhého příběhu nebo hraní rolí v místních aplikacích LLM, jako je KoboldAI, zhroutily do opakujících se smyček.
Vystaveno v llama.cpp a Ollama jako nastavení mirostatu (režim 1 nebo 2, tau, eta) pro fandy ladící kvalitu výstupu.
Stabilizace odpovědí chatbotů, aby neopakovali fráze, ani se nevrátili do nesouvislých tečen během dlouhé relace.
Používají ho autoři, kteří chtějí konzistentní úroveň kreativity v celé generované pasáži spíše než kolísající kvalitu.
Mirostat options are exposed in some local inference tools; llama.cpp, for example, documents mode, tau and eta parameters. Availability and behavior depend on the runtime and version. Its control-theoretic framing is inspiring further adaptive decoders that regulate other signals like factuality or diversity. As long-form generation grows, expect feedback-driven sampling to be combined with retrieval and repetition penalties, and possibly auto-tuned tau values that adapt to genre, replacing manual perplexity targets.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Mirostat is a feedback-based decoding algorithm that aims to regulate the average surprisal of generated tokens toward a target. In its standard formulation tau specifies a target cross-entropy in bits, corresponding to perplexity 2^tau; it adjusts a truncation threshold, without guaranteeing every passage’s perplexity or factual correctness.
Mirostat uses feedback to adjust its sampling threshold toward a target surprise or perplexity level.
Top-k a top-p aplikují pevnou prahovou hodnotu, zatímco Mirostat průběžně upravuje své zkracování na základě pozorovaného překvapení, jako řídicí systém.
Eta je rychlost učení; škáluje, jak silně je řídicí proměnná mu aktualizována v reakci na chybu mezi pozorovaným a cílovým překvapením.
Mirostat 2 odstraňuje spoléhání se na předpoklady Zipfova zákona použité ve verzi 1, díky čemuž je algoritmus jednodušší a obecně spolehlivější napříč modely.
llama.cpp documents a Mirostat mode plus tau and eta parameters for its sampling implementation.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Kontroly penalizace za opakování a dekódování
Jazyk AI