Terme du glossaire IA

Qu’est-ce que QLoRA ?

Définition

Une technique de réglage fin qui combine une quantification de poids sur 4 bits avec des adaptateurs LoRA pour réduire les besoins en mémoire.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

LoRA (Adaptation de bas rang)Une méthode de réglage fin efficace en termes de paramètres qui ajoute des matrices d'adaptateurs de bas rang.QuantificationConversion des poids de modèle en formats de précision inférieure tels que 8 bits ou 4 bits.Mise au pointFormation continue sur des données spécifiques au domaine pour adapter un modèle pré-entraîné à une tâche spécifique.Réglage des instructionsAffiner un modèle sur les paires instruction-réponse pour améliorer le suivi des tâches.Quantification du modèleRéduire la précision numérique des poids du modèle pour réduire les coûts de mémoire et d'inférence.Réglage fin efficace des paramètres (PEFT)Méthodes qui adaptent les modèles en entraînant un petit sous-ensemble de paramètres ajoutés.

Apprenez-en davantage dans nos guides gratuits

QLoRA and 4-Bit Fine-Tuning

Voir aussi

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)