Δίκτυα συμπίεσης και διέγερσης
Τα μπλοκ Squeeze-and-Excitation (SE) επιτρέπουν σε ένα συνελικτικό δίκτυο να μάθει πόσο να ζυγίζει κάθε κανάλι χαρακτηριστικών, επαναβαθμονομώντας τα με βάση το παγκόσμιο πλαίσιο.
Επισκόπηση
Αυτός ο φθηνός μηχανισμός που μοιάζει με προσοχή κέρδισε τον διαγωνισμό ImageNet του 2017 και έγινε τυπικό δομικό στοιχείο του CNN.
Βαθιά κατάδυση
Παρουσιάστηκε από τους Hu, Shen και Sun το 2017, το μπλοκ SE προσθέτει ξεκάθαρη προσοχή καναλιού σε ένα CNN. Λειτουργεί σε δύο βήματα. Το "συμπίεση" χρησιμοποιεί τη συγκέντρωση του παγκόσμιου μέσου όρου για να συμπτύξει κάθε χάρτη χαρακτηριστικών (ύψος x πλάτος) σε έναν μόνο αριθμό, παράγοντας έναν περιγραφέα ανά κανάλι που συνοψίζει την καθολική ενεργοποίησή του. Η «διέγερση» τροφοδοτεί αυτό το διάνυσμα μέσω δύο μικρών πλήρως συνδεδεμένων στρωμάτων με ένα bottleneck (ένα ReLU και στη συνέχεια ένα σιγμοειδές) για να παράγει ένα βάρος ανά κανάλι μεταξύ 0 και 1. Αυτά τα βάρη πολλαπλασιάζουν τους αρχικούς χάρτες χαρακτηριστικών, ενισχύοντας χρήσιμα κανάλια και μειώνοντας τα άσχετα. Η SENet κέρδισε την πρόκληση κατάταξης ILSVRC 2017, μειώνοντας το top-5 σφάλμα σε περίπου 2,25%. Το μπλοκ προσθέτει μόνο μερικά τοις εκατό επιπλέον παραμέτρους και υπολογίζει και υποχωρεί σε ResNet, Inception ή MobileNet με ελάχιστη αλλαγή.
Τεχνική διορατικότητα
Η συμπίεση παράγει ένα διάνυσμα μήκους C z όπου z_c είναι ο χωρικός μέσος όρος του καναλιού c. Η διέγερση υπολογίζει το s = σιγμοειδές(W2 * ReLU(W1 * z)), όπου το W1 μειώνει τη διάσταση κατά έναν λόγο μείωσης r (συνήθως 16) και το W2 την αποκαθιστά, διατηρώντας το προστιθέμενο κόστος μικροσκοπικό. Η έξοδος είναι ο χάρτης χαρακτηριστικών εισόδου σε κλίμακα καναλιού κατά s. Είναι μια μορφή self-gating: το δίκτυο αποφασίζει, βάσει παγκόσμιων στατιστικών, ποια κανάλια έχουν σημασία για τη συγκεκριμένη είσοδο.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
The Future of Squeeze-and-Excitation Networks
Τα μπλοκ SE ζουν μέσα σε αποδοτικές αρχιτεκτονικές: το EfficientNet και το MobileNetV3 τα ενσωματώνουν στα δομικά στοιχεία τους. Η ιδέα δημιούργησε μια οικογένεια μονάδων προσοχής, το CBAM προσθέτει χωρική προσοχή, το ECA-Net αντικαθιστά το σημείο συμφόρησης με μια φθηνή συνέλιξη 1D και αυτά τα ελαφριά κόλπα επαναβαθμονόμησης εμφανίζονται τώρα σε ανίχνευση, τμηματοποίηση, ακόμη και σε ορισμένα υβρίδια όρασης-μετασχηματιστή. Αναμένετε ότι η προσοχή του καναλιού θα παραμείνει ένας μοχλός ακρίβειας χαμηλού κόστους όπου και αν επιμένουν οι περιελίξεις.
Υλοποίηση σε πραγματικό κόσμο
Το SENet κέρδισε την πρόκληση ταξινόμησης ImageNet ILSVRC 2017 προσθέτοντας μπλοκ SE σε έναν κορμό ResNeXt
Το EfficientNet και το MobileNetV3 ενσωματώνουν μονάδες SE σε κάθε μπλοκ για να ενισχύσουν την ακρίβεια στις κινητές συσκευές
Οι ανιχνευτές αντικειμένων και τα μοντέλα τμηματοποίησης εισάγουν μπλοκ SE για να τονίσουν τα ενημερωτικά κανάλια χαρακτηριστικών
Το ECA-Net και το CBAM επεκτείνουν την ιδέα SE με φθηνότερη ή χωρική αναβαθμονόμηση καναλιών
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Δίκτυα καψουλών
Συχνές ερωτήσεις
Τι είναι τα δίκτυα συμπίεσης και διέγερσης;
Τα μπλοκ Squeeze-and-Excitation (SE) επιτρέπουν σε ένα συνελικτικό δίκτυο να μάθει πόσο να ζυγίζει κάθε κανάλι χαρακτηριστικών, επαναβαθμονομώντας τα με βάση το παγκόσμιο πλαίσιο. Αυτός ο φθηνός μηχανισμός που μοιάζει με προσοχή κέρδισε τον διαγωνισμό ImageNet του 2017 και έγινε τυπικό δομικό στοιχείο του CNN.
Τι κάνει το βήμα «συμπίεσης» σε ένα μπλοκ SE;
Η συμπίεση εφαρμόζει τη συνολική μέση συγκέντρωση, συμπτύσσοντας κάθε χάρτη χαρακτηριστικών σε έναν μόνο περιγραφέα ανά κανάλι.
Τι βγάζει το βήμα «διέγερσης»;
Η διέγερση περνά το συμπιεσμένο διάνυσμα μέσω δύο στρώσεων FC που καταλήγουν σε σιγμοειδές, αποδίδοντας βάρη κλιμάκωσης ανά κανάλι.
Πώς εφαρμόζονται τα βάρη διέγερσης στους αρχικούς χάρτες χαρακτηριστικών;
Ο χάρτης χαρακτηριστικών κάθε καναλιού πολλαπλασιάζεται με το βάρος που έχει μάθει, ενισχύοντας ή καταστέλλοντας αυτό το κανάλι.
Γιατί η διέγερση χρησιμοποιεί ένα σημείο συμφόρησης με αναλογία μείωσης (συχνά 16);
Το σημείο συμφόρησης συρρικνώνεται και στη συνέχεια αποκαθιστά τη διάσταση του καναλιού, επομένως το μπλοκ SE κοστίζει μόνο μερικά τοις εκατό επιπλέον.
Ποιος διαγωνισμός κέρδισε το SENet το 2017;
Το SENet κέρδισε την πρόκληση ταξινόμησης εικόνων ILSVRC 2017, ωθώντας το σφάλμα top-5 σε περίπου 2,25%.