Apprendre Actus Outils Emplois Mission

Terme du glossaire IA

Qu’est-ce que Pénalité de répétition ?

Définition

Un paramètre de décodage qui réduit la probabilité que le modèle ait déjà produit des jetons pour réduire les boucles.

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA

Pénalité de fréquenceUn paramètre de décodage qui réduit la probabilité d'apparition de jetons proportionnellement à la fréquence à laquelle ils sont apparus jusqu'à présent.Pénalité de présenceUn paramètre de décodage qui réduit la probabilité que des jetons apparaissent, encourageant ainsi de nouveaux sujets.Échantillonnage Top-kUne stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.Décodage gardéUne stratégie de génération qui limite les jetons de sortie à des structures valides ou à des choix conformes aux politiques.Décodage spéculatifUne méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.Attention fenêtre coulissanteUn modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Apprenez-en davantage dans nos guides gratuits

Repetition Penalty and Decoding Controls AI Flashcards and Spaced Repetition

Voir aussi

Beam Search Parent-Document Retrieval Multi-Query Retrieval RAG-Fusion Self-Play Post-training Mid-training Watermarking