Qu'est-ce que Décodage gardé?

Une stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.

Une stratégie de décodage qui échantillonne à partir du plus petit ensemble de jetons dont la somme des probabilités est p.

Logique qui valide et convertit la sortie du modèle en structures fortement typées et utilisables par la machine.

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Un paramètre de décodage qui réduit la probabilité que le modèle ait déjà produit des jetons pour réduire les boucles.

Un paramètre de décodage qui réduit la probabilité d'apparition de jetons proportionnellement à la fréquence à laquelle ils sont apparus jusqu'à présent.