Terme du glossaire IA

Qu’est-ce que Cache KV ?

Définition

Tenseurs de clé et de valeur stockés des jetons précédents qui permettent aux transformateurs de générer de nouveaux jetons sans recalculer l'attention passée.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Apprentissage continuDes approches de formation qui permettent à un modèle de continuer à apprendre de nouvelles données sans oublier les connaissances antérieures.Échantillonnage Top-kUne stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.Apprentissage non superviséModèles d'apprentissage à partir de données non étiquetées sans résultats cibles explicites.Attention fenêtre coulissanteUn modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.PhrasePièceUn tokenizer indépendant de la langue qui apprend les unités de sous-mots directement à partir du texte brut sans pré-diviser sur les espaces.Pénalité de présenceUn paramètre de décodage qui réduit la probabilité que des jetons apparaissent, encourageant ainsi de nouveaux sujets.

Apprenez-en davantage dans nos guides gratuits

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Voir aussi

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts