À suivreGuide suivant
Réseaux autoroutiers et connexions de sauts
Technique
GUIDE Technique
Réseaux de capsules
Les réseaux de capsules sont une architecture neuronale qui regroupe les neurones en « capsules » qui génèrent des vecteurs codant à la fois pour savoir si une caractéristique existe et sa pose (position, orientation, échelle).
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Ils visent à remédier à un problème majeur dans les réseaux convolutifs standards : la perte de la trace des relations spatiales entre les parties.
Plongée profonde
Proposés par Geoffrey Hinton, Sara Sabour et Nicholas Frosst en 2017, les réseaux de capsules remplacent la sortie d'un neurone scalaire par un vecteur. La longueur du vecteur représente la probabilité qu'une entité (comme un œil ou un nez) soit présente, tandis que son orientation code les paramètres de pose. Les capsules de niveau inférieur prédisent la pose des capsules de niveau supérieur grâce à des matrices de transformation, et un processus appelé routage dynamique par accord décide à quelles prédictions se fier. Lorsque plusieurs parties-capsules s'accordent sur le même tout, le routage renforce cette connexion. Le CapsNet original a obtenu d'excellents résultats sur MNIST et était particulièrement robuste aux chiffres qui se chevauchent et aux transformations affines, abordant le « problème de Picasso » dans lequel les CNN acceptent les traits du visage confus comme un visage valide.
Mise en œuvre dans le monde réel
Classer les chiffres manuscrits sur MNIST tout en reconstruisant l'entrée des vecteurs de capsule, montrant que les paramètres de pose sont significatifs.
Séparer deux chiffres qui se chevauchent (la tâche MultiMNIST) en segmentant quels pixels appartiennent à quelle entité.
Recherche en imagerie médicale utilisant des capsules pour détecter des nodules pulmonaires ou des tumeurs cérébrales là où les relations spatiales partie-tout sont importantes.
Reconnaître les objets à partir de nouveaux points de vue avec moins d'exemples de formation, en tirant parti de l'équivariance des points de vue intégrée à l'architecture.
L'avenir des réseaux de capsules
Les réseaux de capsules restent davantage une direction de recherche qu'une norme déployée, en grande partie parce que le routage dynamique est coûteux en calcul et s'adapte mal aux grandes images comme ImageNet. Des travaux ultérieurs ont exploré le routage EM (Matrix Capsules) et le routage basé sur l'auto-attention pour améliorer l'efficacité. À mesure que l’intérêt pour l’équivariance, l’efficacité des échantillons et les hiérarchies partie-tout interprétables grandit, les idées de capsules continuent d’influencer la recherche, y compris la dernière proposition GLOM de Hinton, même si les Transformers dominent la vision dominante.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Capsule Networks quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que les réseaux Capsule ?
Les réseaux de capsules sont une architecture neuronale qui regroupe les neurones en « capsules » qui génèrent des vecteurs codant à la fois pour savoir si une caractéristique existe et sa pose (position, orientation, échelle). Ils visent à remédier à un problème majeur dans les réseaux convolutifs standards : la perte de la trace des relations spatiales entre les parties.
Dans un réseau de capsules, que représente la LONGUEUR du vecteur de sortie d'une capsule ?
La longueur (magnitude) du vecteur code la probabilité que l'entité existe, tandis que son orientation code des paramètres de pose tels que la position et la rotation.
Pour quel problème avec les CNN standards les réseaux de capsules ont-ils été spécialement conçus pour résoudre ?
Les CNN avec pooling maximal ignorent les relations spatiales précises, de sorte qu'un visage avec des caractéristiques mal placées peut toujours obtenir un score élevé. C’est le « problème Picasso » que les capsules tentent de résoudre.
Quel est le nom de l'algorithme qui décide quelles capsules de niveau inférieur se connectent à quelles capsules de niveau supérieur ?
Le routage dynamique par accord renforce de manière itérative les connexions entre les capsules dont les prédictions concordent avec le rendement d'une capsule plus élevée.
Qui a introduit le réseau capsule avec routage dynamique en 2017 ?
L'article de 2017 « Dynamic Routing Between Capsules » a été rédigé par Sara Sabour, Nicholas Frosst et Geoffrey Hinton.
A quoi sert la fonction 'squash' dans un réseau de capsules ?
La non-linéarité d'écrasement réduit les vecteurs courts vers zéro et plafonne les vecteurs longs près de la longueur un, de sorte que la magnitude peut être lue comme une probabilité tandis que l'orientation (pose) est préservée.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet