Qu'est-ce que Échantillonnage Top-k?

Une stratégie de décodage qui échantillonne à partir du plus petit ensemble de jetons dont la somme des probabilités est p.

Une stratégie de génération qui limite les jetons de sortie à des structures valides ou à des choix conformes aux politiques.

Apprendre ou adapter un comportement à partir d’un petit nombre d’exemples seulement.

Une métrique de modèle de langage mesurant à quel point le modèle est surpris par les vrais prochains jetons.

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Tenseurs de clé et de valeur stockés des jetons précédents qui permettent aux transformateurs de générer de nouveaux jetons sans recalculer l'attention passée.