Δίκτυα καψουλών
Τα δίκτυα καψουλών είναι μια νευρωνική αρχιτεκτονική που ομαδοποιεί τους νευρώνες σε «κάψουλες» που εξάγουν διανύσματα που κωδικοποιούν τόσο εάν υπάρχει ένα χαρακτηριστικό όσο και τη θέση του (θέση, προσανατολισμός, κλίμακα).
Επισκόπηση
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
Βαθιά κατάδυση
Προτάθηκαν από τους Geoffrey Hinton, Sara Sabour και Nicholas Frosst το 2017, τα δίκτυα κάψουλας αντικαθιστούν μια έξοδο βαθμωτών νευρώνων με ένα διάνυσμα. Το μήκος του διανύσματος αντιπροσωπεύει την πιθανότητα να υπάρχει μια οντότητα (όπως ένα μάτι ή μια μύτη), ενώ ο προσανατολισμός της κωδικοποιεί παραμέτρους πόζας. Οι κάψουλες χαμηλότερου επιπέδου προβλέπουν τη θέση των καψουλών υψηλότερου επιπέδου μέσω πινάκων μετασχηματισμού και μια διαδικασία που ονομάζεται δυναμική δρομολόγηση κατά συμφωνία αποφασίζει ποιες προβλέψεις θα εμπιστευτούν. Όταν πολλά μέρη-κάψουλες συμφωνούν στο ίδιο σύνολο, η δρομολόγηση ενισχύει αυτή τη σύνδεση. Το αρχικό CapsNet πέτυχε ισχυρά αποτελέσματα στο MNIST και ήταν ιδιαίτερα ανθεκτικό σε επικαλυπτόμενα ψηφία και μετασχηματισμούς συγγένειας, αντιμετωπίζοντας το «πρόβλημα Πικάσο», όπου τα CNN δέχονται τα μπερδεμένα χαρακτηριστικά του προσώπου ως έγκυρο πρόσωπο.
Τεχνική διορατικότητα
Ο βασικός μηχανισμός είναι μια μη γραμμικότητα «squash» που συρρικνώνει τα μικρά διανύσματα προς το μηδέν και τα μεγάλα διανύσματα προς το μήκος ένα, επομένως το διανυσματικό μέγεθος διαβάζεται ως πιθανότητα. Στη συνέχεια, η δυναμική δρομολόγηση εκτελεί μερικές επαναλήψεις ενός βήματος συμφωνίας με στάθμιση softmax: κάθε χαμηλότερη κάψουλα στέλνει την πρόβλεψή της προς τα επάνω και οι συντελεστές σύζευξης αυξάνονται για υψηλότερες κάψουλες των οποίων η έξοδος ευθυγραμμίζεται (μέσω του προϊόντος κουκκίδας) με αυτήν την πρόβλεψη. Αυτό αντικαθιστά τη max-pooling, διατηρώντας ακριβείς χωρικές πληροφορίες αντί να τις απορρίπτει.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
The Future of Capsule Networks
Τα δίκτυα καψουλών παραμένουν περισσότερο μια κατεύθυνση έρευνας παρά ένα αναπτυγμένο πρότυπο, κυρίως επειδή η δυναμική δρομολόγηση είναι υπολογιστικά ακριβή και δεν κλιμακώνεται σε μεγάλες εικόνες όπως το ImageNet. Αργότερα, η εργασία διερεύνησε τη δρομολόγηση EM (Matrix Capsules) και τη δρομολόγηση που βασίζεται στην αυτοπροσοχή για τη βελτίωση της αποτελεσματικότητας. Καθώς το ενδιαφέρον για την ισοδιακύμανση, την αποτελεσματικότητα του δείγματος και τις ερμηνεύσιμες ιεραρχίες μέρους-ολόκληρων μεγαλώνει, οι ιδέες για τις κάψουλες συνεχίζουν να επηρεάζουν την έρευνα, συμπεριλαμβανομένης της μεταγενέστερης πρότασης GLOM του Hinton, ακόμη και όταν τα Transformers κυριαρχούν στο mainstream όραμα.
Υλοποίηση σε πραγματικό κόσμο
Η ταξινόμηση χειρόγραφων ψηφίων στο MNIST κατά την ανακατασκευή της εισόδου από διανύσματα κάψουλας, η εμφάνιση των παραμέτρων πόζας έχει νόημα.
Διαχωρισμός δύο επικαλυπτόμενων ψηφίων (η εργασία MultiMNIST) τμηματοποιώντας ποια pixel ανήκουν σε ποια οντότητα.
Έρευνα ιατρικής απεικόνισης που χρησιμοποιεί κάψουλες για την ανίχνευση οζιδίων του πνεύμονα ή όγκων εγκεφάλου όπου έχουν σημασία οι χωρικές σχέσεις μέρους-ολόκληρων.
Αναγνώριση αντικειμένων από νέες οπτικές γωνίες με λιγότερα παραδείγματα εκπαίδευσης, αξιοποιώντας την ενσωματωμένη αντιστοιχία οπτικής γωνίας της αρχιτεκτονικής.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Δίκτυα αυτοκινητοδρόμων και παράλειψη συνδέσεων
Συχνές ερωτήσεις
What is Capsule Networks?
Τα δίκτυα καψουλών είναι μια νευρωνική αρχιτεκτονική που ομαδοποιεί τους νευρώνες σε «κάψουλες» που εξάγουν διανύσματα που κωδικοποιούν τόσο εάν υπάρχει ένα χαρακτηριστικό όσο και τη θέση του (θέση, προσανατολισμός, κλίμακα). Στόχος τους είναι να διορθώσουν μια βασική τύφλωση στα τυπικά συνελικτικά δίκτυα: απώλεια παρακολούθησης των χωρικών σχέσεων μεταξύ των μερών.
Σε ένα δίκτυο καψουλών, τι αντιπροσωπεύει το ΜΗΚΟΣ του διανύσματος εξόδου μιας κάψουλας;
Το μήκος (μέγεθος) του διανύσματος κωδικοποιεί την πιθανότητα ύπαρξης της οντότητας, ενώ ο προσανατολισμός του κωδικοποιεί παραμέτρους πόζας όπως η θέση και η περιστροφή.
Ποιο πρόβλημα με τα τυπικά CNN σχεδιάστηκαν ειδικά για την αντιμετώπιση των δικτύων καψουλών;
Τα CNN με max-pooling απορρίπτουν τις ακριβείς χωρικές σχέσεις, επομένως ένα πρόσωπο με λανθασμένα χαρακτηριστικά μπορεί να εξακολουθεί να έχει υψηλή βαθμολογία. Αυτό είναι το «πρόβλημα Πικάσο» που προσπαθούν να διορθώσουν οι κάψουλες.
Πώς ονομάζεται ο αλγόριθμος που αποφασίζει ποιες κάψουλες χαμηλότερου επιπέδου συνδέονται με ποιες κάψουλες υψηλότερου επιπέδου;
Η δυναμική δρομολόγηση κατά συμφωνία ενισχύει επαναληπτικά τις συνδέσεις μεταξύ των καψουλών των οποίων οι προβλέψεις συμφωνούν με την παραγωγή υψηλότερης κάψουλας.
Ποιος εισήγαγε το δίκτυο καψουλών με δυναμική δρομολόγηση το 2017;
Η εργασία του 2017 «Dynamic Routing Between Capsules» συντάχθηκε από τους Sara Sabour, Nicholas Frosst και Geoffrey Hinton.
Ποιος είναι ο σκοπός της λειτουργίας «squash» σε ένα δίκτυο καψουλών;
Η μη γραμμικότητα του squash συρρικνώνει τα βραχέα διανύσματα προς το μηδέν και καλύπτει τα μεγάλα διανύσματα κοντά στο μήκος ένα, έτσι το μέγεθος μπορεί να διαβαστεί ως πιθανότητα ενώ διατηρείται ο προσανατολισμός (πόση).