Terme du glossaire IA

Qu’est-ce que Décodage spéculatif ?

Définition

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Facturation basée sur l'utilisationTarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.Attention fenêtre coulissanteUn modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.InférencePhase d'exécution au cours de laquelle un modèle entraîné génère des prédictions ou des sorties.RAG (génération augmentée par récupération)Une méthode qui récupère des connaissances externes et les intègre à la génération au moment de l'inférence.Échantillonnage Top-kUne stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.Modèle distilléUn modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.

Apprenez-en davantage dans nos guides gratuits

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Voir aussi

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output