Qu'est-ce que Pénalité de répétition?

Un paramètre de décodage qui réduit la probabilité d'apparition de jetons proportionnellement à la fréquence à laquelle ils sont apparus jusqu'à présent.

Un paramètre de décodage qui réduit la probabilité que des jetons apparaissent, encourageant ainsi de nouveaux sujets.

Une stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.

Une stratégie de génération qui limite les jetons de sortie à des structures valides ou à des choix conformes aux politiques.

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.