À suivreGuide suivant
Pénalité de répétition et contrôles de décodage
IA linguistique
GUIDE IA du langage
Mirostat Perplexity Contrôle
Mirostat is a feedback-based decoding algorithm that aims to regulate the average surprisal of generated tokens toward a target.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
In its standard formulation tau specifies a target cross-entropy in bits, corresponding to perplexity 2^tau; it adjusts a truncation threshold, without guaranteeing every passage’s perplexity or factual correctness.
Plongée profonde
Standard top-k and top-p decoding apply fixed cutoffs, while the predictability of generated text can vary across a passage. Mirostat, proposed by Basu and colleagues in 2020, treats decoding as a feedback-control problem. In the standard formulation, tau is a target average surprisal or cross-entropy in bits; the corresponding perplexity is 2^tau. The sampler measures token surprisal and adjusts a truncation threshold based on the difference from the target. If generated tokens are less surprising than the target, the threshold can be loosened; if they are more surprising, it can be tightened. This aims to regulate average surprise over generation and does not require each token or passage to match the target exactly. It does not measure factual correctness.
Mise en œuvre dans le monde réel
Empêcher les générations de longues histoires ou de jeux de rôle dans les applications LLM locales comme KoboldAI de s'effondrer en boucles répétitives.
Exposé dans llama.cpp et Ollama en tant que paramètres de mirostat (mode 1 ou 2, tau, eta) pour les amateurs qui règlent la qualité de sortie.
Stabiliser les réponses des chatbots afin qu'ils ne répètent pas de phrases ou ne s'orientent pas vers des tangentes incohérentes au cours d'une longue session.
Utilisé par les écrivains qui souhaitent un niveau de créativité constant sur l'ensemble d'un passage généré plutôt qu'une qualité fluctuante.
L'avenir du contrôle Mirostat Perplexity
Mirostat options are exposed in some local inference tools; llama.cpp, for example, documents mode, tau and eta parameters. Availability and behavior depend on the runtime and version. Its control-theoretic framing is inspiring further adaptive decoders that regulate other signals like factuality or diversity. As long-form generation grows, expect feedback-driven sampling to be combined with retrieval and repetition penalties, and possibly auto-tuned tau values that adapt to genre, replacing manual perplexity targets.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Mirostat Perplexity Control quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Mirostat Perplexity Control?
Mirostat is a feedback-based decoding algorithm that aims to regulate the average surprisal of generated tokens toward a target. In its standard formulation tau specifies a target cross-entropy in bits, corresponding to perplexity 2^tau; it adjusts a truncation threshold, without guaranteeing every passage’s perplexity or factual correctness.
What does Mirostat try to control during generation?
Mirostat uses feedback to adjust its sampling threshold toward a target surprise or perplexity level.
En quoi Mirostat est-il fondamentalement différent de l’échantillonnage top-k ou top-p standard ?
Top-k et top-p appliquent un seuil fixe, tandis que Mirostat ajuste continuellement sa troncature en fonction de la surprise observée, à la manière d'un système de contrôle.
Dans Mirostat, quel rôle joue le paramètre eta ?
Eta est le taux d'apprentissage ; il mesure la mesure dans laquelle la variable de contrôle mu est mise à jour en réponse à l'erreur entre la surprise observée et la surprise cible.
Quelle est la principale amélioration de Mirostat version 2 par rapport à la version 1 ?
Mirostat 2 supprime le recours aux hypothèses de la loi de Zipf utilisées dans la version 1, rendant l'algorithme plus simple et plus largement fiable dans tous les modèles.
Which Mirostat settings does current llama.cpp expose?
llama.cpp documents a Mirostat mode plus tau and eta parameters for its sampling implementation.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet