Ανίχνευση μετασχηματιστή DETR
Το DETR (DEtection TRAnformer) επαναπλαισιώνει την ανίχνευση αντικειμένων ως ένα πρόβλημα άμεσης πρόβλεψης συνόλου που επιλύεται με έναν μετασχηματιστή, αφαιρώντας βήματα που έχουν σχεδιαστεί με το χέρι, όπως κουτιά αγκύρωσης και μη μέγιστη καταστολή.
Επισκόπηση
It matters because it gave detection a clean, end-to-end pipeline that inspired a wave of transformer-based vision models.
Βαθιά κατάδυση
Το DETR, που εισήχθη από το Facebook AI το 2020, συνδυάζει μια ραχοκοκαλιά CNN με έναν κωδικοποιητή-αποκωδικοποιητή μετασχηματιστή. Το CNN εξάγει χαρακτηριστικά εικόνας. ο κωδικοποιητής αναμιγνύει το παγκόσμιο πλαίσιο σε ολόκληρη την εικόνα. και ο αποκωδικοποιητής λαμβάνει ένα σταθερό σύνολο μαθησμένων «ερωτημάτων αντικειμένου» και μετατρέπει το καθένα είτε σε ανιχνευμένο αντικείμενο (κλάση συν οριοθέτηση) είτε σε αποτέλεσμα «χωρίς αντικείμενο». Η βασική καινοτομία είναι η διμερής αντιστοίχιση: κατά τη διάρκεια της εκπαίδευσης ένας ουγγρικός αλγόριθμος βρίσκει μια αντιστοίχιση ένα προς ένα μεταξύ προβλέψεων και αντικειμένων βασικής αλήθειας, έτσι το μοντέλο μαθαίνει να βγάζει απευθείας ένα μοναδικό πλαίσιο ανά αντικείμενο. Αυτό εξαλείφει τη μη μέγιστη καταστολή και τον συντονισμό αγκύρωσης. Οι ανταλλαγές ήταν η αργή σύγκλιση και η ασθενέστερη ακρίβεια μικροαντικειμένων, που αντιμετώπισαν επακόλουθα όπως το Deformable DETR.
Τεχνική διορατικότητα
Ο καθοριστικός μηχανισμός του DETR είναι η απώλεια βάσει σετ με ουγγρική αντιστοίχιση. Αντί να βαθμολογεί χιλιάδες αγκυροβόλια, εκπέμπει έναν σταθερό αριθμό προβλέψεων (συχνά 100 ερωτήματα αντικειμένων) και τα αντιστοιχίζει ένα προς ένα με αληθινά αντικείμενα, τιμωρώντας τα σφάλματα ταξινόμησης και πλαισίου στα αντιστοιχισμένα ζεύγη και ωθώντας τα αταίριαστα ερωτήματα προς το «κανένα αντικείμενο». Επειδή η αντιστοίχιση είναι ένα προς ένα, οι διπλές ανιχνεύσεις καταστέλλονται από το σχεδιασμό και όχι από ένα ξεχωριστό βήμα μετά την επεξεργασία.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον της ανίχνευσης μετασχηματιστών DETR
Η DETR κυκλοφόρησε μια ολόκληρη οικογένεια μετασχηματιστών ανίχνευσης. Παραλλαγές όπως το Deformable DETR, το DAB-DETR, το DN-DETR και το DINO επιτάχυναν δραματικά την εκπαίδευση και βελτίωσαν την ακρίβεια, με τα μοντέλα τύπου DINO να φτάνουν στην κορυφή των σημείων αναφοράς ανίχνευσης. Το από άκρο σε άκρο παράδειγμα που βασίζεται σε ερωτήματα επεκτείνεται τώρα στην τμηματοποίηση, την παρακολούθηση και την ανίχνευση 3D και οι ανιχνευτές ανοιχτού λεξιλογίου βασίζονται σε αυτό. Αναμένετε συνεχή σύγκλιση ανίχνευσης, τμηματοποίησης και γείωσης γλώσσας σε ενοποιημένες αρχιτεκτονικές μετασχηματιστών, με το DETR να θυμάται ως το βασικό βήμα που αφαίρεσε τα χειροποίητα ευρετικά.
Υλοποίηση σε πραγματικό κόσμο
Ανίχνευση και πυγμαχία πεζών και οχημάτων σε ερευνητικά σύνολα δεδομένων αυτόνομης οδήγησης
Ενισχύει την πανοπτική τμηματοποίηση όταν επεκτείνεται στην πρόβλεψη μάσκας ανά εικονοστοιχείο
Χρησιμεύει ως η βασική αρχιτεκτονική για ανιχνευτές ανοιχτού λεξιλογίου και γείωσης
Εντοπισμός αντικειμένων σε εικόνες ραφιών λιανικής χωρίς συντονισμό μεγεθών αγκύρωσης ανά σύνολο δεδομένων
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DETR Transformer Detection quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Αποκατάσταση μετασχηματιστή SwinIR
Συχνές ερωτήσεις
What is DETR Transformer Detection?
Το DETR (DEtection TRAnformer) επαναπλαισιώνει την ανίχνευση αντικειμένων ως ένα πρόβλημα άμεσης πρόβλεψης συνόλου που επιλύεται με έναν μετασχηματιστή, αφαιρώντας βήματα που έχουν σχεδιαστεί με το χέρι, όπως κουτιά αγκύρωσης και μη μέγιστη καταστολή. Έχει σημασία γιατί έδωσε στην ανίχνευση έναν καθαρό, από άκρο σε άκρο αγωγό που ενέπνευσε ένα κύμα μοντέλων όρασης που βασίζονται σε μετασχηματιστές.
Τι αφαιρεί το DETR σε σύγκριση με παραδοσιακούς ανιχνευτές όπως το Faster R-CNN;
Το DETR είναι από άκρο σε άκρο και προβλέπει απευθείας ένα σύνολο κουτιών, εξαλείφοντας τις αγκυρώσεις και το μη μέγιστο στάδιο καταστολής μετά την επεξεργασία.
Ποιον αλγόριθμο χρησιμοποιεί το DETR για να ταιριάξει τις προβλέψεις με αντικείμενα αληθείας κατά τη διάρκεια της προπόνησης;
Το DETR χρησιμοποιεί τον ουγγρικό αλγόριθμο για να σχηματίσει μια ανάθεση ένα προς ένα μεταξύ προβλέψεων και αντικειμένων βασικής αλήθειας για την απώλεια συνόλου του.
Τι είναι τα «ερωτήματα αντικειμένων» του DETR;
Τα ερωτήματα αντικειμένων είναι ένας σταθερός αριθμός διανυσμάτων που μαθαίνονται. ο αποκωδικοποιητής μετατρέπει το καθένα σε μια πρόβλεψη αντικειμένου ή ένα αποτέλεσμα «χωρίς αντικείμενο».
Ποια συνολική αρχιτεκτονική συνδυάζει το DETR;
Το DETR συνδυάζει έναν συνελικτικό κορμό για χαρακτηριστικά με έναν μετασχηματιστή κωδικοποιητή-αποκωδικοποιητή για πρόβλεψη συνόλου.
Γιατί το DETR δεν χρειάζεται μη μέγιστη καταστολή;
Η απώλεια αντιστοίχισης ένα προς ένα διδάσκει στο μοντέλο να εκπέμπει μία μόνο πρόβλεψη ανά αντικείμενο, επομένως η μετα-επεξεργασία διπλής αφαίρεσης δεν είναι απαραίτητη.