Qu'est-ce que Pénalité de présence?

Un paramètre de décodage qui réduit la probabilité d'apparition de jetons proportionnellement à la fréquence à laquelle ils sont apparus jusqu'à présent.

Un paramètre de décodage qui réduit la probabilité que le modèle ait déjà produit des jetons pour réduire les boucles.

Une stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.

Une stratégie de génération qui limite les jetons de sortie à des structures valides ou à des choix conformes aux politiques.

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Tenseurs de clé et de valeur stockés des jetons précédents qui permettent aux transformateurs de générer de nouveaux jetons sans recalculer l'attention passée.