Terme du glossaire IA

Qu'est-ce que Cache KV?

Définition

Tenseurs de clé et de valeur stockés des jetons précédents qui permettent aux transformateurs de générer de nouveaux jetons sans recalculer l'attention passée.

Termes associés

Apprentissage continu
Des approches de formation qui permettent à un modèle de continuer à apprendre de nouvelles données sans oublier les connaissances antérieures.
Échantillonnage Top-k
Une stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.
Apprentissage non supervisé
Modèles d'apprentissage à partir de données non étiquetées sans résultats cibles explicites.
Attention fenêtre coulissante
Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.
PhrasePièce
Un tokenizer indépendant de la langue qui apprend les unités de sous-mots directement à partir du texte brut sans pré-diviser sur les espaces.
Pénalité de présence
Un paramètre de décodage qui réduit la probabilité que des jetons apparaissent, encourageant ainsi de nouveaux sujets.

Apprenez-en davantage dans nos guides gratuits

KV CacheKV Cache Optimization

Voir aussi

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA