Quiz sur les modèles BitNet 1 bit et ternaire

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Pourquoi BitNet b1.58 est-il décrit comme utilisant environ 1,58 bits par poids ?
   • Parce que chaque poids a trois valeurs possibles (-1, 0, +1) et que log2(3) est d'environ 1,58
   • Parce qu'il arrondit à 2 bits
   • Parce qu'il utilise 1,58 Go de mémoire
   • Parce que 1,58 est la moyenne de 1 et 2 bits
2. Qu'est-ce qui rend les opérations matricielles de BitNet moins chères que les modèles standard ?
   • Ils ignorent le mécanisme d'attention
   • Les poids de -1, 0, +1 transforment les multiplications en additions et soustractions
   • Ils utilisent un vocabulaire plus petit
   • Ils fonctionnent uniquement sur des TPU
3. Une différence clé entre BitNet et la quantification post-formation ordinaire est que BitNet :
   • Ne quantifie qu'une fois la formation terminée
   • Ne peut pas du tout être formé
   • Est formé à partir de zéro avec des poids faibles
   • Utilise des poids 32 bits en interne
4. Pendant l'entraînement, comment BitNet met-il à jour les poids malgré l'étape de quantification non différenciable ?
   • Il gèle tous les poids
   • Il s'entraîne sans gradients
   • Il utilise uniquement l'apprentissage par renforcement
   • Il utilise un estimateur direct avec des poids ombragés de plus grande précision
5. Quel avantage supplémentaire l'autorisation de la valeur 0 (ternaire, pas purement binaire) apporte-t-elle ?
   • Parcimonie intégrée, puisque les poids remis à zéro peuvent être ignorés
   • Précision supérieure à la virgule flottante
   • Connectivité Internet plus rapide
   • Plus grande taille de vocabulaire
6. Quel est le principal défi matériel pour réaliser tous les gains d’efficacité de BitNet ?
   • Il n'y a plus de GPU dans le monde
   • La plupart des puces actuelles sont optimisées pour les mathématiques à virgule flottante, et non pour les opérations ternaires d'addition uniquement
   • Les modèles ternaires ont besoin d’ordinateurs quantiques
   • Les modèles sont trop petits pour avoir de l'importance
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization