ΕπόμενοΕπόμενος οδηγός
Μονοφθάλμια Εκτίμηση Βάθους
Οπτική τεχνητή νοημοσύνη
ΟΔΗΓΟΣ οπτικού AI
Εκτίμηση βάθους διάχυσης κατιφέ
Το Marigold επαναχρησιμοποιεί ένα προεκπαιδευμένο μοντέλο διάχυσης δημιουργίας εικόνας (Stable Diffusion) για την πρόβλεψη χαρτών βάθους με υψηλή λεπτομέρεια.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Δείχνει ότι μπορείτε να μετατρέψετε την πλούσια οπτική γνώση μιας γεννήτριας σε ένα ακριβές εργαλείο αντίληψης με εκπληκτικά λίγα δεδομένα εκπαίδευσης.
Βαθιά κατάδυση
Το Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) επαναπλαισιώνει την εκτίμηση βάθους ως πρόβλημα παραγωγής υπό όρους. Αντί να εκπαιδεύει ένα δίκτυο βάθους από την αρχή, ρυθμίζει με ακρίβεια το Stable Diffusion για να «δημιουργήσει» έναν χάρτη βάθους που εξαρτάται από μια εικόνα εισόδου. Η επίγνωση είναι ότι ένα μοντέλο που έχει εκπαιδευτεί να συνθέτει φωτορεαλιστικές εικόνες έχει ήδη μάθει τη γεωμετρία της σκηνής, το φωτισμό και τη δομή βαθιά στον λανθάνοντα χώρο του, ακριβώς όσα είναι χρήσιμα για το βάθος. Είναι αξιοσημείωτο ότι το Marigold είχε βελτιστοποιηθεί μόνο σε συνθετικά σύνολα δεδομένων (όπως το Hypersim και το Virtual KITTI), ωστόσο γενικεύεται καλά σε πραγματικές φωτογραφίες μηδενικής λήψης. Παράγει συγγενικό αμετάβλητο σχετικό βάθος με εξαιρετικά λεπτομέρεια, αν και η επαναληπτική αποθορυβοποίηση το καθιστά πιο αργό από τα μοντέλα προώθησης τροφοδοσίας όπως το DepthAnything.
Υλοποίηση σε πραγματικό κόσμο
Εξαγωγή λεπτού βάθους από αρχιτεκτονικές φωτογραφίες και φωτογραφίες προϊόντων για επαναφωτισμό και τρισδιάστατες μακέτες.
Δημιουργία χαρτών βάθους υψηλής λεπτομέρειας που χρησιμοποιούνται ως κλιματιστικά για ελεγχόμενη παραγωγή εικόνων και βίντεο.
Βοηθώντας τις ομάδες φιλμ και VFX σε ματ και παράλλαξ εργασία όπου η ακρίβεια των άκρων έχει σημασία.
Χρησιμεύει ως βάση έρευνας που δείχνει πώς να προσαρμόζονται τα γενετικά προηγούμενα σε πυκνές εργασίες πρόβλεψης.
The Future of Marigold Diffusion Depth Estimation
Η συνταγή Marigold, η λεπτομέρεια των προηγούμενων διάχυσης για πυκνή πρόβλεψη, γενικεύεται πέρα από το βάθος στα κανονικά της επιφάνειας, στην εγγενή αποσύνθεση εικόνας και στην εκτίμηση υλικού. Οι παραλλαγές μοντέλων με ταχύτερη απόσταξη και συνέπεια κλείνουν το χάσμα ταχύτητας με τα δίκτυα προώθησης, καθιστώντας την αντίληψη που βασίζεται στη διάχυση βιώσιμη σε διαδραστικά εργαλεία. Αναμένετε μια ευρύτερη τάση όπου μια προεκπαιδευμένη γεννήτρια ραχοκοκαλιά προσαρμόζεται σε πολλές εργασίες γεωμετρίας και αντίληψης, μειώνοντας την ανάγκη για μεγάλα σύνολα δεδομένων με ετικέτα για συγκεκριμένες εργασίες.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
- Δημιουργήστε επιλογές. Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
- Ομάδα και ροή εργασίας. Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Προσέξτε
- Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
- Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
- Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Επόμενα βήματα
- Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
- Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
- Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
- Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Marigold Diffusion Depth Estimation quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η εκτίμηση βάθους διάχυσης Marigold;
Το Marigold επαναχρησιμοποιεί ένα προεκπαιδευμένο μοντέλο διάχυσης δημιουργίας εικόνας (Stable Diffusion) για την πρόβλεψη χαρτών βάθους με υψηλή λεπτομέρεια. Δείχνει ότι μπορείτε να μετατρέψετε την πλούσια οπτική γνώση μιας γεννήτριας σε ένα ακριβές εργαλείο αντίληψης με εκπληκτικά λίγα δεδομένα εκπαίδευσης.
Σε ποιο προεκπαιδευμένο μοντέλο βασίζεται η Marigold;
Το Marigold προσαρμόζει το μοντέλο λανθάνουσας διάχυσης Stable Diffusion για να παράγει χάρτες βάθους.
Πώς πλαισιώνει το Marigold την εργασία εκτίμησης βάθους;
Αντιμετωπίζει το βάθος ως κάτι που πρέπει να «δημιουργηθεί» με βάση την εικόνα εισόδου, επαναχρησιμοποιώντας μηχανήματα διάχυσης.
Τι ήταν έκπληξη για τα δεδομένα προπόνησης της Marigold;
Το Marigold βελτιστοποιήθηκε σε συνθετικά δεδομένα όπως το Hypersim και το Virtual KITTI, αλλά γενικεύει τη μηδενική λήψη σε πραγματικές φωτογραφίες.
Γιατί το Marigold είναι συνήθως πιο αργό από τα μοντέλα βάθους τροφοδοσίας;
Τα μοντέλα διάχυσης εκπέμπουν θόρυβο σε πολλαπλά βήματα, καθιστώντας το συμπέρασμα πιο αργό από ένα μεμονωμένο πέρασμα προς τα εμπρός.
Σε ποιο χώρο εκτελεί το Marigold τη διαδικασία διάχυσης του;
Τόσο η εικόνα όσο και το βάθος κωδικοποιούνται στον λανθάνοντα χώρο VAE όπου το U-Net απενεργοποιεί τον θόρυβο.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα