Terme du glossaire IA

Qu’est-ce que Réglage fin efficace des paramètres (PEFT) ?

Définition

Méthodes qui adaptent les modèles en entraînant un petit sous-ensemble de paramètres ajoutés.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Mise au pointFormation continue sur des données spécifiques au domaine pour adapter un modèle pré-entraîné à une tâche spécifique.LoRA (Adaptation de bas rang)Une méthode de réglage fin efficace en termes de paramètres qui ajoute des matrices d'adaptateurs de bas rang.Post-formationÉtapes de formation appliquées après la pré-formation, telles que le réglage des instructions, l'optimisation des préférences et le réglage de la sécurité.Réglage des instructionsAffiner un modèle sur les paires instruction-réponse pour améliorer le suivi des tâches.Taux d'apprentissageUn hyperparamètre de formation contrôlant la quantité de paramètres modifiés à chaque étape de mise à jour.DPO (Optimisation des Préférences Directes)Une méthode de formation qui affine les modèles directement sur les paires de préférences sans avoir besoin d'un modèle de récompense distinct.

Apprenez-en davantage dans nos guides gratuits

Fine-TuningHard Parameter Sharing in Multi-Task NetworksGumbel-Softmax and ReparameterizationRejection Sampling Fine-Tuning

Voir aussi

ParameterPerplexityOverfittingPipelineOpen-Source ModelPrecisionOCR (Optical Character Recognition)Pretraining