Apprendre Actus Outils Emplois Mission

Terme du glossaire IA

Qu’est-ce que Échantillonnage Top-k ?

Définition

Une stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA

Échantillonnage Top-p (noyau)Une stratégie de décodage qui échantillonne à partir du plus petit ensemble de jetons dont la somme des probabilités est p.Décodage gardéUne stratégie de génération qui limite les jetons de sortie à des structures valides ou à des choix conformes aux politiques.Apprentissage en quelques coupsApprendre ou adapter un comportement à partir d’un petit nombre d’exemples seulement.PerplexityUne métrique de modèle de langage mesurant à quel point le modèle est surpris par les vrais prochains jetons.Décodage spéculatifUne méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.Cache KVTenseurs de clé et de valeur stockés des jetons précédents qui permettent aux transformateurs de générer de nouveaux jetons sans recalculer l'attention passée.

Apprenez-en davantage dans nos guides gratuits

Typical Sampling Speculative Sampling Verification Entropy-Based Sampling Early Stopping

Voir aussi

Tool Use Tokenization Transfer Learning Token Transformer Temperature Training Loss System Prompt