Πανοπτική Τμηματοποίηση
Η πανοπτική τμηματοποίηση δίνει σε κάθε εικονοστοιχείο μιας εικόνας μια ετικέτα, ενοποιώντας το "τι είναι αυτή η περιοχή" με το "ποιο συγκεκριμένο αντικείμενο είναι αυτό". Είναι η πιο ολοκληρωμένη μορφή κατανόησης σκηνής στην όραση υπολογιστή.
Βαθιά κατάδυση
Το Computer vision είχε από καιρό δύο ξεχωριστές εργασίες. Η σημασιολογική τμηματοποίηση επισημαίνει κάθε pixel ανά κατηγορία (δρόμος, ουρανός, άτομο), αλλά δεν μπορεί να ξεχωρίσει δύο άτομα. Η τμηματοποίηση του στιγμιότυπου βρίσκει και σκιαγραφεί μεμονωμένα μετρήσιμα αντικείμενα, αλλά αγνοεί «πράγματα» του φόντου, όπως ουρανό ή γρασίδι. Η πανοπτική τμηματοποίηση, που επισημοποιήθηκε από ερευνητές AI του Facebook το 2018, συγχωνεύει και τα δύο: εκχωρεί σε κάθε pixel μια κατηγορία και για μετρήσιμα «πράγματα» εκχωρεί επίσης ένα μοναδικό αναγνωριστικό παρουσίας. Το αποτέλεσμα είναι ένας ενιαίος συνεκτικός χάρτης χωρίς κενά ή επικαλύψεις. Η ποιότητα μετριέται με την Πανοπτική Ποιότητα (PQ), η οποία συνδυάζει την ακρίβεια των περιοχών που αναγνωρίζονται με το πόσο καλά ταιριάζουν τα όριά τους. Είναι σημαντικό όπου ένα μηχάνημα πρέπει να κατανοήσει πλήρως μια ολόκληρη σκηνή, όπως ένα αυτοοδηγούμενο αυτοκίνητο που ερμηνεύει έναν δρόμο.
Τεχνική διορατικότητα
Τα πανοπτικά μοντέλα χωρίζουν τις ετικέτες σε «πράγματα» (μετρήσιμα αντικείμενα, όπως αυτοκίνητα και άτομα, που λαμβάνουν ταυτότητες παραδειγμάτων) και «πράγματα» (άμορφες περιοχές όπως δρόμος ή ουρανός, που δεν έχουν). Τα πρώιμα συστήματα έτρεχαν χωριστούς κλάδους σημασιολογικών και στιγμιότυπων, και στη συνέχεια τους συνένωσαν με κανόνες για την επίλυση διενέξεων εικονοστοιχείων. Οι νεότερες μέθοδοι που βασίζονται σε μετασχηματιστές, όπως το Mask2Former, προβλέπουν ένα σύνολο μασκών με συσχετισμένες ετικέτες κλάσεων απευθείας, χειριζόμενες τόσο πράγματα όσο και πράγματα σε μια ενοποιημένη αρχιτεκτονική.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το Μέλλον της Πανοπτικής Τμηματοποίησης
Το πεδίο ενοποιείται γύρω από ενοποιημένες αρχιτεκτονικές μετασχηματιστών που βασίζονται σε ερωτήματα που χειρίζονται σημασιολογικές, στιγμιότυπες και πανοπτικές εργασίες με ένα μοντέλο. Η έρευνα ωθεί προς την πανοπτική τμηματοποίηση βίντεο που διατηρεί τις ταυτότητες παραδειγμάτων συνεπείς στα καρέ, τα μοντέλα ανοιχτού λεξιλογίου που τμηματοποιούν τις κατηγορίες που περιγράφονται στο κείμενο και τα ελαφρύτερα μοντέλα αρκετά αποτελεσματικά για ρομπότ και οχήματα. Τα καλύτερα δεδομένα συνθετικής εκπαίδευσης και η αυτο-επίβλεψη μειώνουν το βαρύ κόστος του χειροκίνητου σχολιασμού τέλειου pixel.
Υλοποίηση σε πραγματικό κόσμο
Αυτόνομα οχήματα δημιουργούν έναν πλήρη χάρτη σε επίπεδο pixel που διακρίνει κάθε αυτοκίνητο, πεζό, δρόμο και πεζοδρόμιο
Ιατρική απεικόνιση που επισημαίνει περιοχές οργάνων ενώ μετράει μεμονωμένες βλάβες ή κύτταρα
Εφαρμογές επαυξημένης πραγματικότητας που διαχωρίζουν κάθε αντικείμενο και επιφάνεια για να τοποθετήσουν ρεαλιστικά εικονικό περιεχόμενο
Συστήματα ρομποτικής που αναλύουν πλήρως μια ακατάστατη σκηνή για να σχεδιάσουν την κατανόηση και την πλοήγηση
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Panoptic Segmentation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Τμηματοποίηση εικόνας
Συχνές ερωτήσεις
What is Panoptic Segmentation?
Η πανοπτική τμηματοποίηση δίνει σε κάθε εικονοστοιχείο μιας εικόνας μια ετικέτα, ενοποιώντας το "τι είναι αυτή η περιοχή" με το "ποιο συγκεκριμένο αντικείμενο είναι αυτό". Είναι η πιο ολοκληρωμένη μορφή κατανόησης σκηνής στην όραση υπολογιστή.
Τι αντιστοιχίζει η πανοπτική τμηματοποίηση σε κάθε pixel μιας εικόνας;
Η πανοπτική τμηματοποίηση επισημαίνει κάθε pixel με μια κατηγορία και επιπλέον δίνει σε μετρήσιμα «πράγματα» ένα μοναδικό αναγνωριστικό παρουσίας, χωρίς να αφήνει κενά ή επικαλύψεις.
Στην πανοπτική ορολογία, τι είναι οι τάξεις «πράγματα»;
Το "Stuff" αναφέρεται σε αμέτρητες, άμορφες περιοχές υποβάθρου, όπως ο ουρανός ή ο δρόμος, που λαμβάνουν μια κατηγορία αλλά όχι αναγνωριστικό παρουσίας.
Ποιος είναι ο κύριος περιορισμός της σημασιολογικής τμηματοποίησης που ξεπερνά η πανοπτική τμηματοποίηση;
Η σημασιολογική τμηματοποίηση επισημαίνει τα pixel ανά κατηγορία, αλλά δεν μπορεί να διαχωρίσει δύο άτομα μεταξύ τους. Το panoptic προσθέτει ταυτότητα στιγμιότυπου.
Ποια μέτρηση χρησιμοποιείται για την αξιολόγηση της ποιότητας πανοπτικής τμηματοποίησης;
Το Panoptic Quality (PQ) συνδυάζει την ακρίβεια αναγνώρισης με την επικάλυψη τμηματοποίησης για να βαθμολογήσει πόσο καλά προβλέπονται πράγματα και πράγματα.
Τι λαμβάνουν οι τάξεις «πράγματα» που δεν λαμβάνουν οι τάξεις «πράγματα»;
Τα μετρήσιμα «πράγματα» λαμβάνουν ένα μοναδικό αναγνωριστικό παρουσίας, ώστε τα μεμονωμένα αντικείμενα να μπορούν να διαχωριστούν, ενώ τα «πράγματα» λαμβάνουν μόνο μια κατηγορία.