Παραμορφώσιμες περιελίξεις
Οι παραμορφώσιμες περιελίξεις επιτρέπουν σε ένα νευρωνικό δίκτυο να λυγίζει το πλέγμα δειγματοληψίας του για να ακολουθεί το πραγματικό σχήμα των αντικειμένων αντί να το πιέζει μέσα από ένα άκαμπτο τετράγωνο παράθυρο.
Επισκόπηση
This makes models far better at handling odd shapes, scale changes, and geometric distortion.
Βαθιά κατάδυση
Μια κανονική συνέλιξη λαμβάνει δείγματα pixel σε σταθερές μετατοπίσεις — ένα τακτοποιημένο πλέγμα 3x3 με κέντρο σε κάθε θέση. Αυτό λειτουργεί καλά για υφές, αλλά δυσκολεύεται όταν τα αντικείμενα γέρνουν, τεντώνονται ή έχουν περίεργο σχήμα. Οι παραμορφώσιμες περιελίξεις, που εισήχθησαν από τον Dai και τους συνεργάτες του στην έρευνα Microsoft το 2017, προσθέτουν μια μικρή μαθησιακή μετατόπιση σε καθένα από αυτά τα σημεία δειγματοληψίας. Το δίκτυο κοιτάζει την είσοδο και προβλέπει μια 2D μετατόπιση για κάθε θέση πλέγματος, έτσι ώστε το δεκτικό πεδίο να μπορεί να παραμορφωθεί για να αγκαλιάσει μια κυρτή άκρη ή να ακολουθήσει ένα λοξό άκρο. Η παραμορφώσιμη συγκέντρωση RoI εφαρμόζει την ίδια ιδέα στα χαρακτηριστικά της περιοχής. Η έκδοση 2 (2018) πρόσθεσε βάρη διαμόρφωσης ανά σημείο, αφήνοντας το στρώμα να αμβλύνει ή να ενισχύει κάθε δείγμα, γεγονός που ακονίζει την ακρίβεια ανίχνευσης αντικειμένων σε σημεία αναφοράς όπως το COCO.
Τεχνική διορατικότητα
Οι μετατοπίσεις παράγονται από ένα επιπλέον επίπεδο συνέλιξης που τρέχει παράλληλα, βγάζοντας 2N τιμές για έναν πυρήνα σημείου Ν (ένα dx, ένα dy ανά σημείο). Επειδή οι προβλεπόμενες μετατοπίσεις είναι κλασματικές, οι τιμές των εικονοστοιχείων του δείγματος υπολογίζονται με διγραμμική παρεμβολή, η οποία διατηρεί την όλη λειτουργία διαφοροποιήσιμη. Οι μετατοπίσεις μαθαίνονται από άκρο σε άκρο μέσω της κανονικής διάδοσης — δεν υπάρχει ξεχωριστή επίβλεψη που να λέει στο δίκτυο πού να κοιτάξει. Το προστιθέμενο κόστος είναι μέτριο επειδή ο κλάδος offset είναι ελαφρύς σε σχέση με τους κύριους χάρτες χαρακτηριστικών.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον των παραμορφώσιμων περιελίξεων
Η παραμορφώσιμη προσοχή έχει γίνει η ραχοκοκαλιά της σύγχρονης ανίχνευσης: Το Παραμορφώσιμο DETR χρησιμοποιεί μαθημένες μετατοπίσεις δειγματοληψίας για να κάνει την προσοχή του μετασχηματιστή αραιή και γρήγορη, μειώνοντας δραματικά τον χρόνο εκπαίδευσης σε σχέση με το αρχικό DETR. Αναμένετε ότι η αρχή της παραμόρφωσης θα συνεχίσει να εξαπλώνεται σε βίντεο, τρισδιάστατα σύννεφα σημείων και μοντέλα γλώσσας όρασης, όπου η προσαρμοστική δειγματοληψία βοηθά στον χειρισμό της κίνησης, της απόφραξης και της ακανόνιστης γεωμετρίας. Καθώς η υποστήριξη υλικού για ακανόνιστη πρόσβαση στη μνήμη βελτιώνεται, οι παραμορφώσιμοι χειριστές θα πρέπει επίσης να γίνουν φθηνότεροι και να αναπτυχθούν ευρύτερα σε συσκευές άκρων.
Υλοποίηση σε πραγματικό κόσμο
Ανίχνευση αντικειμένων στο COCO, όπου τα παραμορφώσιμα στρώματα ενισχύουν την ακρίβεια σε επιμήκη ή περιστρεφόμενα αντικείμενα όπως τρένα και καμηλοπαρδάλεις
Σημασιολογική τμηματοποίηση σκηνών του δρόμου, βοηθώντας μοντέλα να εντοπίσουν καμπύλες σημάνσεις λωρίδων και ακανόνιστα περιγράμματα κτιρίων
Παραμορφώσιμο DETR για ανίχνευση από άκρο σε άκρο, χρησιμοποιώντας μαθημένες μετατοπίσεις για αποτελεσματική προσοχή του μετασχηματιστή
Ιατρική απεικόνιση, όπου οι όγκοι και τα όργανα έχουν μη άκαμπτα σχήματα που τα σταθερά πλέγματα αποτυπώνουν ελάχιστα
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deformable Convolutions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Depthwise Separable Convelutions
Συχνές ερωτήσεις
What is Deformable Convolutions?
Οι παραμορφώσιμες περιελίξεις επιτρέπουν σε ένα νευρωνικό δίκτυο να λυγίζει το πλέγμα δειγματοληψίας του για να ακολουθεί το πραγματικό σχήμα των αντικειμένων αντί να το πιέζει μέσα από ένα άκαμπτο τετράγωνο παράθυρο. Αυτό κάνει τα μοντέλα πολύ καλύτερα στο χειρισμό περίεργων σχημάτων, αλλαγών κλίμακας και γεωμετρικών παραμορφώσεων.
Τι προσθέτει μια παραμορφώσιμη περιέλιξη σε σύγκριση με μια τυπική περιέλιξη;
Οι παραμορφώσιμες περιελίξεις προβλέπουν μια μαθημένη μετατόπιση (dx, dy) για κάθε θέση δειγματοληψίας, αφήνοντας το πλέγμα να παραμορφώνεται για να ταιριάζει με τα σχήματα των αντικειμένων.
Πώς δημιουργούνται οι μετατοπίσεις δειγματοληψίας σε μια παραμορφώσιμη συνέλιξη;
Ένας κλάδος παράλληλης συνέλιξης εξάγει τις μετατοπίσεις, οι οποίες μαθαίνονται από άκρο σε άκρο μέσω της αντίστροφης διάδοσης.
Επειδή οι προβλεπόμενες μετατοπίσεις είναι συνήθως κλασματικές, πώς γίνεται δειγματοληψία των τιμών των εικονοστοιχείων σε αυτές τις θέσεις;
Οι κλασματικές μετατοπίσεις απαιτούν διγραμμική παρεμβολή, η οποία διατηρεί τη λειτουργία διαφοροποιήσιμη για εκπαίδευση.
Τι πρόσθεσε το Deformable ConvNets v2 (2018) πάνω από το πρωτότυπο;
Το v2 εισήγαγε τη διαμόρφωση, ένα μαθημένο βάρος ανά σημείο δειγματοληψίας που μπορεί να ενισχύσει ή να καταστείλει την επιρροή του, βελτιώνοντας την ακρίβεια.
Γιατί οι παραμορφώσιμες περιελίξεις είναι ιδιαίτερα χρήσιμες για αντικείμενα με ακανόνιστο σχήμα;
Κάμπτοντας το πλέγμα δειγματοληψίας, το ενεργό δεκτικό πεδίο ευθυγραμμίζεται με τη γεωμετρία του αντικειμένου αντί για ένα άκαμπτο τετράγωνο.