Qu'est-ce que Réglage fin efficace des paramètres (PEFT)?

Formation continue sur des données spécifiques au domaine pour adapter un modèle pré-entraîné à une tâche spécifique.

Une méthode de réglage fin efficace en termes de paramètres qui ajoute des matrices d'adaptateurs de bas rang.

Étapes de formation appliquées après la pré-formation, telles que le réglage des instructions, l'optimisation des préférences et le réglage de la sécurité.

Affiner un modèle sur les paires instruction-réponse pour améliorer le suivi des tâches.

Un hyperparamètre de formation contrôlant la quantité de paramètres modifiés à chaque étape de mise à jour.

Une méthode de formation qui affine les modèles directement sur les paires de préférences sans avoir besoin d'un modèle de récompense distinct.