Formation à la prédiction multi-jetons
Au lieu de prédire uniquement le prochain jeton, le modèle est entraîné pour prédire plusieurs futurs jetons à la fois.
Aperçu
This sharpens learning signals and unlocks faster inference through self-speculative decoding.
Plongée profonde
Les modèles de langage standard sont entraînés avec la prédiction du jeton suivant : étant donné un contexte, prédisez le jeton suivant. La prédiction multi-jetons (MTP), popularisée par un article Meta de 2024 et adoptée dans DeepSeek-V3, ajoute des têtes de sortie extra légères afin que le modèle prédise simultanément le jeton suivant ainsi que les 2e, 3e et 4e jetons à partir du même état caché. Cela oblige le réseau à planifier plus loin dans le futur et densifie le signal de formation – chaque position contribue désormais à plusieurs termes de perte. Meta a signalé des gains particulièrement importants en matière de codage et de raisonnement génératif, les modèles plus grands en bénéficiant davantage. Surtout, les têtes supplémentaires peuvent être jetées après la formation, de sorte que la taille du modèle au moment du déploiement n'a pas besoin d'augmenter.
Aperçu technique
MTP attache n têtes de prédiction indépendantes au-dessus du tronc de transformateur partagé ; head k prédit le jeton à la position t+k à partir de la représentation à la position t. Les pertes sont additionnées lors de l'entraînement. Lors de l'inférence, les têtes auxiliaires permettent un décodage auto-spéculatif : le modèle propose plusieurs jetons en un seul passage, puis les vérifie, obtenant une génération jusqu'à environ 3 fois plus rapide sans modifier la distribution de sortie.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L'avenir de la formation à la prédiction multi-jetons
Le MTP devient un ingrédient par défaut dans les recettes de formation frontalière car il améliore à la fois la qualité et la vitesse d'inférence à moindre coût. Attendez-vous à une intégration plus étroite avec un décodage spéculatif, des horizons de prévision plus profonds et une utilisation comme objectif auxiliaire qui améliore la planification à long terme. En combinaison avec des modèles de raisonnement, la prévision de plusieurs étapes à venir peut aider les modèles à simuler en interne les conséquences avant de s'engager sur une réponse.
Mise en œuvre dans le monde réel
DeepSeek-V3 utilisant un objectif MTP pendant le pré-entraînement pour améliorer l'efficacité des données et permettre un décodage spéculatif
Modèles de génération de code de Meta montrant des gains de précision sur HumanEval et MBPP grâce à la prédiction de plusieurs jetons
Décodage auto-spéculatif : rédaction de 3 à 4 jetons par passe directe, puis vérification pour une sortie plus rapide et préservant la distribution
Remplissage automatique plus rapide dans les assistants de codage où plusieurs jetons plausibles sont proposés et vérifiés en une seule étape
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Streaming spéculatif et prédiction multi-jetons
Questions fréquemment posées
What is Multi-Token Prediction Training?
Au lieu de prédire uniquement le prochain jeton, le modèle est entraîné pour prédire plusieurs futurs jetons à la fois. Cela affine les signaux d’apprentissage et permet une inférence plus rapide grâce au décodage auto-spéculatif.
Qu'est-ce que la prédiction multi-token ajoute par rapport à l'entraînement standard au prochain jeton ?
MTP ajoute des têtes de sortie supplémentaires afin que le modèle prédise le prochain jeton ainsi que plusieurs jetons plus loin à partir d'un état caché.
Quel modèle a notamment utilisé un objectif de prédiction multi-token en pré-entraînement ?
DeepSeek-V3 a adopté un objectif de formation MTP pour améliorer l'efficacité des données et permettre un décodage spéculatif.
Pourquoi MTP densifie-t-il le signal d'entraînement ?
Prédire plusieurs futurs jetons signifie que chaque position de jeton produit plusieurs pertes de prédiction, donnant plus de signal d'apprentissage par jeton.
Quel avantage d’inférence les têtes de prédiction supplémentaires permettent-elles ?
Les têtes auxiliaires peuvent rédiger plusieurs jetons par passe qui sont ensuite vérifiés, accélérant ainsi la génération sans modifier la distribution de sortie.
Qu'arrive-t-il aux têtes auxiliaires après l'entraînement si vous n'avez pas besoin d'accélérations ?
Les têtes supplémentaires sont facultatives lors du déploiement ; les supprimer permet de conserver au modèle la même taille qu'un modèle standard de jeton suivant.