À suivreGuide suivant
Pilotage d’activation et ingénierie de représentation
Technique
GUIDE Technique
SmoothQuant et quantification d’activation
SmoothQuant est une technique qui permet de compresser de grands modèles de langage jusqu'à des entiers de 8 bits pour les poids et les activations sans recyclage.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C'est important car les activations dans les grands modèles contiennent des valeurs aberrantes extrêmes qui détruisent normalement les mathématiques de faible précision, et SmoothQuant les apprivoise.
Plongée profonde
Lorsque vous réduisez un modèle de nombres flottants de 16 bits à des nombres entiers de 8 bits, les poids se compressent facilement mais les activations posent problème : certains canaux transportent des valeurs 10 à 100 fois plus grandes que les autres, et les forcer dans une grille entière grossière détruit la précision. SmoothQuant, introduit par Xiao et al. en 2022, observe que les poids sont fluides et faciles à quantifier tandis que les activations sont pointues. Il migre donc mathématiquement la difficulté : il divise les canaux d'activation par une échelle par canal et multiplie les poids correspondants par la même échelle. Les deux opérations s'annulent, laissant la sortie du modèle inchangée, mais les deux tenseurs se situent désormais dans des plages amies. Le résultat est une inférence W8A8 (pondérations et activations 8 bits) avec une perte de précision proche de zéro et une accélération et des économies de mémoire d'environ 2x.
Mise en œuvre dans le monde réel
Servir un LLM de 70 B de paramètres sur W8A8 sur moins de GPU en réduisant de moitié le coût de la mémoire et de la multiplication matricielle
Activation de l'inférence INT8 sur les cœurs tenseurs NVIDIA Hopper/Blackwell qui accélèrent nativement les calculs d'entiers 8 bits
Déployer des modèles de chat sur des points de terminaison cloud à coûts limités où le doublement du débit réduit directement la facture par jeton
Compression des encodeurs de transformateur pour la parole ou la traduction sur l'appareil où les noyaux 8 bits fonctionnent plus rapidement et plus froidement
L'avenir de SmoothQuant et de la quantification d'activation
SmoothQuant a établi que les valeurs aberrantes d'activation sont migrables plutôt qu'inévitables, et cette idée sous-tend désormais la production des services INT8 et FP8. Attendez-vous à ce que le lissage soit combiné avec des schémas plus fins tels que la quantification par groupe, la mise à l'échelle apprise et la recherche d'activation sur 4 bits (par exemple, des méthodes prenant en compte les valeurs aberrantes). À mesure que le matériel FP8 (Hopper, Blackwell) mûrit, l'équilibrage de style lissage continuera à être intégré aux pipelines du compilateur et du moteur d'inférence, de sorte que la quantification reste presque gratuite.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the SmoothQuant and Activation Quantization quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que SmoothQuant et la quantification d'activation ?
SmoothQuant est une technique qui permet de compresser de grands modèles de langage jusqu'à des entiers de 8 bits pour les poids et les activations sans recyclage. C'est important car les activations dans les grands modèles contiennent des valeurs aberrantes extrêmes qui détruisent normalement les mathématiques de faible précision, et SmoothQuant les apprivoise.
Quel problème SmoothQuant résout-il spécifiquement dans l’inférence de faible précision ?
SmoothQuant cible les grandes valeurs aberrantes qui apparaissent dans certains canaux d'activation, qui détruisent autrement la précision lorsque les activations sont quantifiées sur 8 bits.
Comment SmoothQuant facilite-t-il la quantification des activations ?
Il divise les canaux d'activation par une échelle par canal et multiplie les poids correspondants par cette échelle, de sorte que le produit reste inchangé mais que les deux tenseurs deviennent plus faciles à quantifier.
Que signifie la notation W8A8 ?
W8A8 désigne une quantification sur 8 bits pour les poids (W) et les activations (A), le régime SmoothQuant permet avec une perte de précision minimale.
Pourquoi la mise à l'échelle de SmoothQuant n'ajoute-t-elle pratiquement aucune surcharge d'exécution ?
Les échelles de lissage sont intégrées à l'avance aux poids de la couche précédente ou à une opération fusionnée, de sorte qu'aucun calcul supplémentaire n'est effectué lors de l'inférence.
Quel rôle joue l’hyperparamètre alpha dans SmoothQuant ?
Alpha (généralement 0,5) équilibre le facteur de lissage, décidant dans quelle mesure la difficulté de quantification est déplacée des activations vers les poids.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet