Μονοφθάλμια Εκτίμηση Βάθους
Η μονόφθαλμη εκτίμηση βάθους προβλέπει πόσο μακριά είναι κάθε pixel από μια απλή φωτογραφία — δεν απαιτείται στερεοφωνική κάμερα, lidar ή αισθητήρας βάθους.
Επισκόπηση
It lets one camera perceive 3D structure from a flat 2D image.
Βαθιά κατάδυση
Οι άνθρωποι μπορούν να κρίνουν το βάθος από το ένα μάτι χρησιμοποιώντας ενδείξεις όπως η προοπτική, το σχετικό μέγεθος, οι διαβαθμίσεις υφής, η σκίαση και η απόφραξη. Η μονόφθαλμη εκτίμηση βάθους διδάσκει στα νευρωνικά δίκτυα το ίδιο τέχνασμα: τροφοδοτεί μια μεμονωμένη εικόνα RGB και εξάγει μια τιμή βάθους για κάθε pixel. Επειδή μια εικόνα 2D είναι εγγενώς διφορούμενη ως προς την απόλυτη κλίμακα, η εργασία είναι δύσκολη — πολλές σκηνές 3D μπορούν να προβάλλονται στην ίδια εικόνα. Τα δίκτυα μαθαίνουν στατιστικές προτεραιότητες από μεγάλα σύνολα δεδομένων για να επιλύσουν αυτό το πρόβλημα. Η προπόνηση έρχεται σε δύο μορφές: εποπτευόμενη, με χρήση βάθους αλήθειας εδάφους από αισθητήρες lidar ή RGB-D, και αυτο-επίβλεψη, η οποία μαθαίνει το βάθος καθαρά από ζεύγη βίντεο ή στερεοφωνικά, επιβάλλοντας ότι το προβλεπόμενο βάθος επαναπροβάλλει σωστά τη μια προβολή σε μια άλλη. Πρόσφατα μοντέλα θεμελίωσης όπως το MiDaS και το Depth Anything γενικεύουν αξιοσημείωτα σε αόρατες σκηνές.
Τεχνική διορατικότητα
Οι αυτοεποπτευόμενες μέθοδοι εκμεταλλεύονται τη γεωμετρία αντί για τις ετικέτες. Λαμβάνοντας υπόψη δύο προβολές (στερεοφωνικό ή διαδοχικά καρέ βίντεο) και έναν προβλεπόμενο χάρτη βάθους συν την κίνηση της κάμερας, το μοντέλο παραμορφώνει τη μία εικόνα για να ανακατασκευάσει την άλλη. το σφάλμα ανακατασκευής σε επίπεδο pixel γίνεται το σήμα εκπαίδευσης. Αυτή η απώλεια «σύνθεσης προβολής» σημαίνει ότι μπορείτε να μάθετε το βάθος από ακατέργαστο βίντεο χωρίς ετικέτα. Ένας βασικός περιορισμός είναι η ασάφεια της κλίμακας: το μονόφθαλμο βάθος είναι συχνά σωστό μόνο μέχρι έναν άγνωστο πολλαπλασιαστή, εκτός εάν βαθμονομηθεί σε σχέση με μια γνωστή αναφορά ή μετρική εποπτεία.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
The Future of Monocular Depth Estimation
Τα γενικά μοντέλα θεμελίωσης βάθους που έχουν εκπαιδευτεί σε εκατομμύρια μικτές εικόνες πιέζουν προς το αξιόπιστο, μετρικό βάθος (πραγματικής κλίμακας) σε οποιαδήποτε σκηνή, ακόμα και σε αυτές που δεν έχουν δει ποτέ στην προπόνηση. Περιμένετε πιο σφιχτή σύντηξη με οπτική ροή και SLAM για πλήρη ανακατασκευή σκηνής 3D, ελαφρύτερα μοντέλα που τρέχουν ζωντανά σε τηλέφωνα και ακουστικά και ισχυρότερη στιβαρότητα μηδενικής λήψης. Αυτό θα κάνει την πλούσια χωρική αντίληψη φθηνή και πανταχού παρούσα, διαθέσιμη από οποιαδήποτε μεμονωμένη κάμερα και όχι από ακριβές συσκευές ανίχνευσης βάθους.
Υλοποίηση σε πραγματικό κόσμο
Λειτουργία πορτρέτου smartphone που προσομοιώνει θάμπωμα φόντου (bokeh) με εκτίμηση της απόστασης θέματος έναντι φόντου
Εφαρμογές επαυξημένης πραγματικότητας που τοποθετούν εικονικά αντικείμενα ώστε να κάθονται σωστά πίσω από έπιπλα πραγματικού κόσμου
Μη επανδρωμένα αεροσκάφη και ρομπότ χαμηλού κόστους που αποφεύγουν τα εμπόδια χρησιμοποιώντας μια μόνο κάμερα που βλέπει προς τα εμπρός
Μετατροπή φωτογραφιών και ταινιών 2D σε 3D με συμπέρασμα βάθους ανά pixel για στερεοσκοπική οθόνη
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Monocular Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Στερεοφωνική εκτίμηση βάθους
Συχνές ερωτήσεις
What is Monocular Depth Estimation?
Η μονόφθαλμη εκτίμηση βάθους προβλέπει πόσο μακριά είναι κάθε pixel από μια απλή φωτογραφία — δεν απαιτείται στερεοφωνική κάμερα, lidar ή αισθητήρας βάθους. Επιτρέπει σε μία κάμερα να αντιλαμβάνεται τρισδιάστατη δομή από μια επίπεδη εικόνα 2D.
Τι κάνει την εκτίμηση βάθους «μονόφθαλμη»;
«Μονόφθαλμος» σημαίνει ένα μάτι/κάμερα. η μέθοδος προβλέπει βάθος από μία μόνο εικόνα RGB χωρίς στερεοφωνικό ή ενεργούς αισθητήρες βάθους.
Γιατί η μονόφθαλμη εκτίμηση βάθους είναι θεμελιωδώς διφορούμενη;
Μια μεμονωμένη δισδιάστατη προβολή χάνει πληροφορίες κλίμακας, επομένως πολλαπλές διευθετήσεις 3D είναι συνεπείς με μία εικόνα. Τα δίκτυα βασίζονται σε προηγούμενες γνώσεις για να αποσαφηνίσουν.
Πώς οι αυτοεποπτευόμενες μέθοδοι μαθαίνουν το βάθος χωρίς ετικέτες βασικής αλήθειας;
Χρησιμοποιώντας το προβλεπόμενο βάθος και την κίνηση της κάμερας, το μοντέλο προβάλλει ξανά τη μια εικόνα στην άλλη. το φωτομετρικό σφάλμα παρέχει το σήμα εκμάθησης, δεν χρειάζονται ετικέτες.
Σε ποια ένδειξη ΔΕΝ βασίζονται άμεσα τα μονοφθάλμια δίκτυα για το βάθος;
Η στερεοφωνική διαφορά απαιτεί δύο κάμερες. Οι μονόφθαλμες μέθοδοι βασίζονται σε ενδείξεις μίας εικόνας όπως το μέγεθος, η προοπτική, η υφή και η απόφραξη.
Τι είναι η «ασάφεια κλίμακας» στο μονόφθαλμο βάθος;
Χωρίς μετρική επίβλεψη ή γνωστή αναφορά, το μονόφθαλμο βάθος δίνει τη σωστή σχετική δομή αλλά μια αβέβαιη απόλυτη κλίμακα.