Quiz sur la quantification du modèle

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quantizing a model mainly reduces what?
   • La précision numérique utilisée pour stocker les poids et les activations
   • Le nombre de couches dans le réseau
   • L'ensemble de données de formation sur lequel le modèle a été construit
   • La langue que le modèle peut comprendre
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Quel est le principal inconvénient de la quantification agressive des bits faibles ?
   • Le modèle oublie sa langue de formation
   • Perte potentielle de précision car les valeurs sont regroupées dans moins de compartiments
   • Il ne peut fonctionner que sur des superordinateurs
   • Il supprime définitivement les calques
4. En quoi la formation prenant en compte la quantification diffère-t-elle de la quantification post-formation ?
   • Cela ne nécessite aucune donnée
   • Cela ne fonctionne que sur les images
   • Il augmente le nombre de bits au fil du temps
   • Il simule l'arrondi pendant l'entraînement afin que le modèle apprenne à tolérer une faible précision.
5. Quelle technique utilise la quantification 4 bits pour rendre le réglage fin de grands modèles abordable sur un seul GPU ?
   • Abandon
   • Normalisation par lots
   • QLoRA
   • Tokenisation
6. Pourquoi la mise à l'échelle par canal ou par groupe aide-t-elle les modèles quantifiés ?
   • Il attribue des facteurs d'échelle distincts aux tranches d'une matrice de poids pour préserver la précision
   • Cela supprime le besoin de poids
   • Cela agrandit le modèle
   • Il convertit le texte en audio
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages