Quiz sur l'élagage structuré et la suppression de couches

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Pourquoi l’élagage structuré produit-il de réelles accélérations alors que l’élagage non structuré ne le fait souvent pas ?
   • L'élagage structuré supprime les blocs cohérents qui réduisent réellement les tenseurs
   • La taille non structurée augmente la taille du modèle
   • La taille structurée ajoute plus de couches
   • L'élagage non structuré ne fonctionne que sur les processeurs
2. Qu'est-ce que la « suppression de couches » dans le contexte des transformateurs ?
   • Réduire le taux d'apprentissage par couche
   • Suppression de blocs de transformateur entiers pour réduire la profondeur du modèle
   • Ajout d'un abandon à chaque couche
   • Réorganiser les calques de manière aléatoire
3. Quel signal indique généralement qu'une couche de transformateur peut être abandonnée en toute sécurité ?
   • La couche a le plus de paramètres
   • La couche est la première du réseau
   • Les états cachés d'entrée et de sortie de la couche sont très similaires
   • La couche utilise le plus de mémoire
4. Quelle étape permet généralement de récupérer la précision après un élagage structuré ?
   • Augmenter uniquement la taille du lot
   • Re-quantification à 16 bits
   • Ajouter plus de têtes d'attention
   • Un court tour de mise au point ou de distillation des connaissances
5. Comment les têtes d’attention individuelles sont-elles souvent classées pour la taille ?
   • Par l'augmentation de la perte lorsque la tête est masquée (sensibilité)
   • Par ordre alphabétique
   • Par leur position dans le vocabulaire
   • Par le nombre de jetons qu'ils ont vu
6. Quelle est l’une des principales utilisations pratiques de la taille structurée combinée à la distillation ?
   • Générer automatiquement des données d'entraînement
   • Dériver une famille de modèles plus petits et plus rapides à partir d'un grand point de contrôle
   • Chiffrement des poids du modèle
   • Augmenter la longueur de la fenêtre contextuelle
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping