À suivreGuide suivant
Réglage fin, RAG ou invite
IA linguistique
GUIDE IA du langage
QLoRA et réglage fin 4 bits
QLoRA est une technique qui vous permet d'affiner un modèle de langage massif sur un seul GPU grand public en stockant le modèle gelé en seulement 4 bits par poids.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It made customizing 65B-parameter models possible on hardware that previously could only handle models a fraction of that size.
Plongée profonde
Normalement, peaufiner un modèle volumineux signifie charger chaque poids avec une précision de 16 bits et tous les mettre à jour, ce qui nécessite une énorme mémoire. QLoRA combine deux idées. Tout d’abord, il gèle le modèle pré-entraîné et le quantifie à 4 bits, réduisant ainsi la mémoire environ par quatre. Deuxièmement, il utilise LoRA : au lieu de mettre à jour les matrices de poids géantes, il injecte à côté d'elles de minuscules matrices d'adaptateurs de bas rang entraînables, de sorte que seuls quelques millions de paramètres sont mis à jour. La base 4 bits reste fixe tandis que les dégradés circulent uniquement à travers les petits adaptateurs. Introduit en 2023 par Dettmers et ses collègues, QLoRA a montré que le réglage fin d'un modèle 65B sur un GPU de 48 Go pouvait égaler la qualité d'un réglage fin complet de 16 bits.
Mise en œuvre dans le monde réel
Une startup peaufine un modèle 70B Llama sur un seul GPU de 48 Go pour créer un assistant de support client avec sa propre voix de marque sans louer de cluster de serveurs.
Un chercheur possédant un RTX 4090 grand public adapte du jour au lendemain un modèle ouvert à un ensemble de données de réponse à des questions médicales de niche.
Un développeur crée des dizaines de petits adaptateurs LoRA échangeables pour différentes tâches, partageant tous un modèle de base 4 bits chargé en mémoire.
Un amateur affine un modèle sur ses journaux de discussion personnels pour imiter un style d'écriture particulier à l'aide de matériel gratuit de qualité Colab.
L'avenir de QLoRA et du réglage fin 4 bits
Le réglage fin 4 bits est devenu une pratique courante et la recherche s'oriente désormais vers une précision encore plus faible, y compris des représentations 2 bits et 1 bit (ternaire). Les schémas de quantification les plus récents comme AWQ, GPTQ et HQQ affinent davantage la précision, tandis que des techniques telles que QA-LoRA visent à maintenir le modèle quantifié même après la fusion des adaptateurs. À mesure que les modèles ouverts se développent, attendez-vous à ce que les outils permettant aux amateurs d’affiner plus de 70 milliards de modèles sur un seul GPU de jeu deviennent une routine et démocratisent la personnalisation.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the QLoRA and 4-Bit Fine-Tuning quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is QLoRA and 4-Bit Fine-Tuning?
QLoRA est une technique qui vous permet d'affiner un modèle de langage massif sur un seul GPU grand public en stockant le modèle gelé en seulement 4 bits par poids. Il a rendu possible la personnalisation de modèles à paramètres 65B sur du matériel qui ne pouvait auparavant gérer que des modèles d'une fraction de cette taille.
Quelle est l'idée principale d'économie de mémoire derrière la partie « 4 bits » de QLoRA ?
QLoRA stocke les poids pré-entraînés gelés à 4 bits par valeur, réduisant ainsi la mémoire environ quatre fois par rapport à 16 bits.
Lors du réglage fin de QLoRA, quels paramètres sont réellement mis à jour par descente de gradient ?
Le modèle de base est figé ; seules les matrices d'adaptateurs de bas rang injectées reçoivent des mises à jour de gradient, ce qui ne représente qu'une infime fraction des paramètres.
Qu’est-ce que NF4 dans le contexte de QLoRA ?
NF4 (NormalFloat 4 bits) est un type de données conçu autour de la distribution en cloche des poids du réseau neuronal pour une meilleure précision que le simple int4.
Quel problème les « optimiseurs paginés » dans QLoRA résolvent-ils ?
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
Quand les poids 4 bits sont-ils reconvertis en une plus grande précision pendant l'entraînement ?
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet