Quiz de superposition et de polysémanticité

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. À quoi fait référence la « superposition » dans les réseaux de neurones ?
   • Représenter plus de fonctionnalités qu'il n'y a de neurones en chevauchant leurs directions
   • Empiler plusieurs modèles les uns sur les autres
   • Exécuter le modèle deux fois et faire la moyenne
   • Ajouter du bruit aux entrées pendant l'entraînement
2. Quelle condition permet à la superposition de bien fonctionner malgré les interférences de fonctionnalités ?
   • Fonctionnalités densément actives tout le temps
   • Les fonctionnalités étant rares, si peu sont actives simultanément
   • Utiliser uniquement des activations positives
   • Avoir plus de neurones que de fonctionnalités
3. Qu'est-ce qu'un neurone « polysémantique » ?
   • Un neurone qui ne s'active jamais
   • Un neurone utilisé uniquement dans la couche de sortie
   • Un neurone qui répond à de nombreux concepts sans rapport
   • Un neurone sans connexion
4. Quel article Anthropic a introduit une étude contrôlée de ce phénomène en 2022 ?
   • L'attention est tout ce dont vous avez besoin
   • Classification ImageNet avec des CNN profonds
   • Jouer à Atari avec Deep RL
   • Modèles de jouets de superposition
5. Si une couche doit stocker plus d’entités qu’elle n’a de dimensions, qu’est-ce qui est géométriquement inévitable ?
   • Certaines entités doivent partager des directions non orthogonales qui se chevauchent
   • Les fonctionnalités peuvent toutes rester parfaitement orthogonales
   • Le réseau doit planter
   • Toutes les fonctionnalités deviennent identiques
6. Pourquoi la superposition rend-elle l’interprétabilité plus difficile ?
   • Cela rend le modèle plus lent à exécuter
   • Les neurones uniques ne correspondent plus clairement à des concepts uniques
   • Il supprime toutes les fonctionnalités du modèle
   • Cela n'affecte que la couche d'entrée
7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
   • Sparse activity makes all feature directions orthogonal
   • It increases the number of neurons automatically
   • Fewer features are active at the same time, so overlapping directions collide less often
   • It removes the need for nonlinear computation
8. What does an antipodal pair of feature directions look like geometrically?
   • Two vectors at a right angle in separate dimensions
   • Two vectors with identical directions and magnitudes
   • A vector with no coordinates
   • Two directions that point opposite ways along the same line