Χαρακτηριστικά Δίκτυα Πυραμίδας
Τα Δίκτυα Πυραμίδας Χαρακτηριστικών (FPN) επιτρέπουν στους ανιχνευτές να εντοπίζουν αντικείμενα σε εξαιρετικά διαφορετικά μεγέθη δημιουργώντας μια «πυραμίδα» πολλαπλής κλίμακας με φθηνά χαρακτηριστικά.
Επισκόπηση
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Βαθιά κατάδυση
Τα αντικείμενα στις εικόνες εμφανίζονται σε πολλές κλίμακες και ένας μοναδικός χάρτης χαρακτηριστικών δυσκολεύεται να τα χειριστεί όλα. Παλαιότερες προσεγγίσεις δημιούργησαν πυραμίδες εικόνων αλλάζοντας το μέγεθος της φωτογραφίας πολλές φορές και εκτελώντας το δίκτυο σε κάθε αντίγραφο, κάτι που ήταν αργό. FPN, που εισήχθη από τους Lin et al. το 2017, επαναχρησιμοποιεί τη φυσική πυραμίδα που βρίσκεται ήδη μέσα σε ένα συνελικτικό δίκτυο. Μια ραχοκοκαλιά όπως το ResNet παράγει χάρτες χαρακτηριστικών που γίνονται μικρότεροι και πιο σημασιολογικοί βαθύτεροι στο δίκτυο. Το FPN προσθέτει ένα μονοπάτι από πάνω προς τα κάτω: λαμβάνει δειγματοληπτικά βαθιά, σημασιολογικά πλούσια χαρακτηριστικά και τα συγχωνεύει μέσω πλευρικών συνδέσεων με ρηχά χαρακτηριστικά υψηλής ανάλυσης. Το αποτέλεσμα είναι ένα σύνολο χαρτών χαρακτηριστικών που είναι όλοι σημασιολογικά ισχυροί, αλλά διατηρούν λεπτές χωρικές λεπτομέρειες, βελτιώνοντας δραματικά την ανίχνευση μικρών αντικειμένων σχεδόν χωρίς επιπλέον κόστος.
Τεχνική διορατικότητα
Το FPN έχει μια διαδρομή από κάτω προς τα πάνω (τη ραχοκοκαλιά) και μια διαδρομή από πάνω προς τα κάτω. Κάθε επίπεδο από πάνω προς τα κάτω αναδεικνύεται κατά 2x (πλησιέστερος γείτονας) και προστίθεται βάσει στοιχείων σε έναν πλευρικό χάρτη χαρακτηριστικών 1x1 με αντίστοιχη ανάλυση. Στη συνέχεια, μια συνέλιξη 3x3 εξομαλύνει κάθε συγχωνευμένο χάρτη για να μειώσει το aliasing. Αυτό παράγει επίπεδα P2-P5 με σταθερό αριθμό καναλιών (συχνά 256), το καθένα επιφορτισμένο με την ανίχνευση αντικειμένων συγκεκριμένης κλίμακας.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
The Future of Feature Pyramid Networks
Ο σχεδιασμός του FPN από πάνω προς τα κάτω έχει γεννήσει πολλούς διαδόχους: Το PANet προσθέτει μια διαδρομή από κάτω προς τα πάνω, το BiFPN (χρησιμοποιείται στο EfficientDet) κάνει τη σύντηξη εκμάθηση και αμφίδρομη με σταθμισμένες συνδέσεις και το NAS-FPN αναζητά αυτόματα την τοπολογία σύντηξης. Οι ανιχνευτές μετασχηματιστών, όπως το DETR, πλαισιώνουν τις ρητές πυραμίδες, αλλά η σύντηξη πολλαπλών κλιμάκων παραμένει κεντρική. Αναμένετε ότι οι ιδέες τύπου FPN θα επιμείνουν εντός των μετασχηματιστών όρασης και των αποτελεσματικών ανιχνευτών στη συσκευή, όλο και περισσότερο με μάθηση, προσαρμοστική στάθμιση κλίμακας αντί για σταθερές συνδέσεις.
Υλοποίηση σε πραγματικό κόσμο
Ανίχνευση μικρών, απομακρυσμένων πεζών και μεγάλων κοντινών οχημάτων ταυτόχρονα σε στοίβες αντίληψης αυτοοδηγούμενων αυτοκινήτων
Ενισχύοντας την τμηματοποίηση παρουσίας στο Mask R-CNN, όπου το FPN τροφοδοτεί λειτουργίες πολλαπλής κλίμακας στην πρόταση περιοχής και στις κεφαλές μάσκας
Εντοπισμός μικροσκοπικών όγκων δίπλα σε μεγάλα όργανα σε αγωγούς ανίχνευσης ιατρικής απεικόνισης
Εύρεση αντικειμένων διαφορετικού μεγέθους σε δορυφορικές και εναέριες εικόνες, από μικρά σκάφη μέχρι μεγάλα κτίρια
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Pyramid Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Δίκτυα Χωρικών Μετασχηματιστών
Συχνές ερωτήσεις
What is Feature Pyramid Networks?
Τα Δίκτυα Πυραμίδας Χαρακτηριστικών (FPN) επιτρέπουν στους ανιχνευτές να εντοπίζουν αντικείμενα σε εξαιρετικά διαφορετικά μεγέθη δημιουργώντας μια «πυραμίδα» πολλαπλής κλίμακας με φθηνά χαρακτηριστικά. Είναι ο λόγος που οι σύγχρονοι ανιχνευτές βρίσκουν τόσο έναν μικροσκοπικό μακρινό πεζό όσο και ένα τεράστιο κοντινό φορτηγό στην ίδια εικόνα.
Ποιο βασικό πρόβλημα επιλύει πρωτίστως ένα Δίκτυο Πυραμίδας Δυνατοτήτων;
Το FPN δημιουργεί μια αναπαράσταση χαρακτηριστικών πολλαπλής κλίμακας, έτσι ώστε ένας ανιχνευτής να μπορεί να χειρίζεται αντικείμενα που κυμαίνονται από μικροσκοπικά έως πολύ μεγάλα με ένα μόνο πέρασμα.
Στο FPN, ποιος είναι ο ρόλος της διαδρομής από πάνω προς τα κάτω;
Το μονοπάτι από πάνω προς τα κάτω αναδεικνύει βαθιά, σημασιολογικά χαρακτηριστικά και τα συγχωνεύει με πιο ρηχούς χάρτες υψηλής ανάλυσης, ώστε κάθε επίπεδο να είναι λεπτομερές και σημασιολογικά ισχυρό.
Πώς συνδυάζονται συνήθως οι πλευρικές συνδέσεις με τα χαρακτηριστικά από πάνω προς τα κάτω με δειγματοληψία;
Μια συνέλιξη 1x1 προσαρμόζει τον αριθμό καναλιών του χάρτη πλευρικών χαρακτηριστικών, ο οποίος στη συνέχεια προστίθεται ως προς τα στοιχεία στο χαρακτηριστικό 2x-upsampled top-down.
Γιατί εφαρμόζεται μια συνέλιξη 3x3 σε κάθε συγχωνευμένο χάρτη χαρακτηριστικών στο FPN;
Μετά την προσθήκη κατά στοιχεία, μια περιέλιξη 3x3 μειώνει τα τεχνουργήματα παραμόρφωσης που εισάγονται από την αναδειγματοληψία, παράγοντας καθαρότερα επίπεδα πυραμίδας.
Ποια μεταγενέστερη αρχιτεκτονική επέκτεινε το FPN με μαθησιακή, σταθμισμένη αμφίδρομη σύντηξη;
Το BiFPN, που παρουσιάστηκε με το EfficientDet, κάνει τη σύντηξη δυνατοτήτων αμφίδρομη και μαθαίνει τα βάρη για το πόσο ισχυρή συνεισφέρει κάθε είσοδος.