Quiz SmoothQuant et quantification d’activation

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel problème SmoothQuant résout-il spécifiquement dans l’inférence de faible précision ?
   • Valeurs aberrantes extrêmes dans les canaux d'activation
   • Des poids trop petits pour être représentés
   • Le dégradé disparaît lors de la rétropropagation
   • Limites de taille du vocabulaire des jetons
2. Comment SmoothQuant facilite-t-il la quantification des activations ?
   • Il coupe toutes les activations au-dessus d'un seuil fixe
   • Il migre la difficulté en réduisant les activations et en augmentant le poids du même facteur.
   • Il recycle le modèle de bout en bout en 8 bits
   • Il convertit les activations en virgule flottante uniquement
3. Que signifie la notation W8A8 ?
   • 8 couches de poids et 8 têtes d'attention
   • Dégradation du poids de 8 et alpha de 8
   • Poids 8 bits et activations 8 bits
   • 8 ouvriers et 8 accélérateurs
4. Pourquoi la mise à l'échelle de SmoothQuant n'ajoute-t-elle pratiquement aucune surcharge d'exécution ?
   • Il fonctionne sur un GPU dédié séparé
   • Cela ne s'applique que pendant la formation, jamais d'inférence
   • Les processeurs modernes ignorent les facteurs d'échelle
   • Les balances sont absorbées hors ligne dans des poids adjacents ou des opérations fusionnées
5. Quel rôle joue l’hyperparamètre alpha dans SmoothQuant ?
   • Il contrôle dans quelle mesure la charge aberrante passe des activations aux pondérations.
   • Il définit le taux d'apprentissage pour le réglage fin
   • Il détermine le nombre de bits de quantification
   • Il sélectionne les têtes d'attention à élaguer
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights