Terme du glossaire IA

Qu’est-ce que LoRA (Adaptation de bas rang) ?

Définition

Une méthode de réglage fin efficace en termes de paramètres qui ajoute des matrices d'adaptateurs de bas rang.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Réglage fin efficace des paramètres (PEFT)Méthodes qui adaptent les modèles en entraînant un petit sous-ensemble de paramètres ajoutés.QLoRAUne technique de réglage fin qui combine une quantification de poids sur 4 bits avec des adaptateurs LoRA pour réduire les besoins en mémoire.Mise au pointFormation continue sur des données spécifiques au domaine pour adapter un modèle pré-entraîné à une tâche spécifique.Réglage des instructionsAffiner un modèle sur les paires instruction-réponse pour améliorer le suivi des tâches.DPO (Optimisation des Préférences Directes)Une méthode de formation qui affine les modèles directement sur les paires de préférences sans avoir besoin d'un modèle de récompense distinct.Lissage des étiquettesUne méthode de régularisation qui adoucit les étiquettes dures pour améliorer la généralisation.

Apprenez-en davantage dans nos guides gratuits

AI Workflow AutomationBarlow Twins and Redundancy ReductionDomain AdaptationKubeflow and ML Pipeline Orchestration

Voir aussi

Learning RateLoss FunctionLarge Language Model (LLM)Machine Learning (ML)LatencyMemory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph