What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Définition

Une méthode de réglage fin efficace en termes de paramètres qui ajoute des matrices d'adaptateurs de bas rang.

Termes associés

Réglage fin efficace des paramètres (PEFT)

Méthodes qui adaptent les modèles en entraînant un petit sous-ensemble de paramètres ajoutés.

Une technique de réglage fin qui combine une quantification de poids sur 4 bits avec des adaptateurs LoRA pour réduire les besoins en mémoire.

Formation continue sur des données spécifiques au domaine pour adapter un modèle pré-entraîné à une tâche spécifique.

Réglage des instructions

Affiner un modèle sur les paires instruction-réponse pour améliorer le suivi des tâches.

DPO (Optimisation des Préférences Directes)

Une méthode de formation qui affine les modèles directement sur les paires de préférences sans avoir besoin d'un modèle de récompense distinct.

Lissage des étiquettes

Une méthode de régularisation qui adoucit les étiquettes dures pour améliorer la généralisation.

Apprenez-en davantage dans nos guides gratuits

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

Voir aussi

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA