Terme du glossaire IA

Qu'est-ce que Décodage spéculatif?

Définition

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Termes associés

Facturation basée sur l'utilisation
Tarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.
Attention fenêtre coulissante
Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.
Inférence
Phase d'exécution au cours de laquelle un modèle entraîné génère des prédictions ou des sorties.
RAG (génération augmentée par récupération)
Une méthode qui récupère des connaissances externes et les intègre à la génération au moment de l'inférence.
Échantillonnage Top-k
Une stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.
Modèle distillé
Un modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.

Apprenez-en davantage dans nos guides gratuits

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Voir aussi

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output
Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA