Quiz sur la distillation des connaissances

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. In knowledge distillation, what is the student model trained to do?
   • Former un petit modèle d’élève à imiter un grand modèle d’enseignant
   • Pour rendre un modèle plus grand et plus précis
   • Pour étiqueter automatiquement les données
   • Pour chiffrer les poids d'un modèle
2. Qu’entend-on par « connaissance obscure » de l’enseignant ?
   • Comportement malveillant caché dans le modèle
   • La partie chiffrée du fichier modèle
   • Les informations contenues dans les probabilités relatives que l'enseignant attribue aux mauvaises classes
   • Données sur lesquelles l’enseignant n’a jamais été formé
3. Quel rôle joue la température (T) dans la distillation ?
   • Il contrôle uniquement la vitesse d'entraînement du modèle
   • Il adoucit le softmax afin que de petites similitudes entre classes deviennent apprenables
   • Il définit le nombre de couches dans l'étudiant
   • Il mesure la puissance calorifique du GPU
4. La perte de distillation classique combine quels deux composants ?
   • Deux modèles de récompense distincts
   • Erreur quadratique moyenne et perte de charnière
   • Une pénalité KL contre une politique de référence et une fonction de valeur
   • Un terme de divergence KL correspondant aux résultats logiciels de l'enseignant plus une entropie croisée sur les véritables étiquettes
5. Quel est un exemple de modèle de langage distillé ?
   • ResNet-50
   • Mot2Vec
   • DistilBERT
   • AlexNet
6. En quoi la distillation basée sur les caractéristiques diffère-t-elle de l’approche classique basée sur le résultat ?
   • Il correspond aux représentations intermédiaires des couches cachées, et pas seulement aux sorties finales.
   • Il ignore complètement le professeur
   • Il utilise uniquement des étiquettes dures
   • Il forme l'enseignant plutôt que l'élève
7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
   • A guarantee that either alternative is the correct label
   • The teacher’s complete original training corpus
   • The teacher’s exact number of hidden layers
   • Relative relationships among the teacher’s alternative class scores
8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
   • Assume its accuracy must equal the teacher’s
   • Measure its task accuracy and runtime on the intended system
   • Assume fewer parameters guarantee lower latency on every device
   • Only compare the models’ names