Εκτίμηση βάθους διάχυσης κατιφέ
Το Marigold επαναχρησιμοποιεί ένα προεκπαιδευμένο μοντέλο διάχυσης δημιουργίας εικόνας (Stable Diffusion) για την πρόβλεψη χαρτών βάθους με υψηλή λεπτομέρεια.
Επισκόπηση
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Βαθιά κατάδυση
Το Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) επαναπλαισιώνει την εκτίμηση βάθους ως πρόβλημα παραγωγής υπό όρους. Αντί να εκπαιδεύει ένα δίκτυο βάθους από την αρχή, ρυθμίζει με ακρίβεια το Stable Diffusion για να «δημιουργήσει» έναν χάρτη βάθους που εξαρτάται από μια εικόνα εισόδου. Η επίγνωση είναι ότι ένα μοντέλο που έχει εκπαιδευτεί να συνθέτει φωτορεαλιστικές εικόνες έχει ήδη μάθει τη γεωμετρία της σκηνής, το φωτισμό και τη δομή βαθιά στον λανθάνοντα χώρο του, ακριβώς όσα είναι χρήσιμα για το βάθος. Είναι αξιοσημείωτο ότι το Marigold είχε βελτιστοποιηθεί μόνο σε συνθετικά σύνολα δεδομένων (όπως το Hypersim και το Virtual KITTI), ωστόσο γενικεύεται καλά σε πραγματικές φωτογραφίες μηδενικής λήψης. Παράγει συγγενικό αμετάβλητο σχετικό βάθος με εξαιρετικά λεπτομέρεια, αν και η επαναληπτική αποθορυβοποίηση το καθιστά πιο αργό από τα μοντέλα προώθησης τροφοδοσίας όπως το DepthAnything.
Τεχνική διορατικότητα
Το Marigold λειτουργεί στον λανθάνοντα χώρο του Stable Diffusion. Τόσο η εικόνα όσο και ο χάρτης βάθους κωδικοποιούνται από το ίδιο VAE. το U-Net έχει ρυθμιστεί με ακρίβεια ώστε να αποθορβώνει ένα λανθάνον βάθος που εξαρτάται από το λανθάνον καθαρό είδωλο. Κατά το συμπέρασμα, εκτελεί τον τυπικό επαναληπτικό βρόχο αποθορυβοποίησης και, στη συνέχεια, αποκωδικοποιεί το λανθάνον βάθος. Επειδή λαμβάνει δείγματα, μπορούν να συνδυαστούν πολλαπλές εκτελέσεις για σταθερότητα, ανταλλάσσοντας υπολογισμούς για ακρίβεια. Αργότερα «LCM» και οι αποσταγμένες εκδόσεις ενός βήματος μείωσαν τα δεκάδες σκαλοπάτια σε ένα μόνο πέρασμα.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
The Future of Marigold Diffusion Depth Estimation
Η συνταγή Marigold, η λεπτομέρεια των προηγούμενων διάχυσης για πυκνή πρόβλεψη, γενικεύεται πέρα από το βάθος στα κανονικά της επιφάνειας, στην εγγενή αποσύνθεση εικόνας και στην εκτίμηση υλικού. Οι παραλλαγές μοντέλων με ταχύτερη απόσταξη και συνέπεια κλείνουν το χάσμα ταχύτητας με τα δίκτυα προώθησης, καθιστώντας την αντίληψη που βασίζεται στη διάχυση βιώσιμη σε διαδραστικά εργαλεία. Αναμένετε μια ευρύτερη τάση όπου μια προεκπαιδευμένη γεννήτρια ραχοκοκαλιά προσαρμόζεται σε πολλές εργασίες γεωμετρίας και αντίληψης, μειώνοντας την ανάγκη για μεγάλα σύνολα δεδομένων με ετικέτα για συγκεκριμένες εργασίες.
Υλοποίηση σε πραγματικό κόσμο
Εξαγωγή λεπτού βάθους από αρχιτεκτονικές φωτογραφίες και φωτογραφίες προϊόντων για επαναφωτισμό και τρισδιάστατες μακέτες.
Δημιουργία χαρτών βάθους υψηλής λεπτομέρειας που χρησιμοποιούνται ως κλιματιστικά για ελεγχόμενη παραγωγή εικόνων και βίντεο.
Βοηθώντας τις ομάδες φιλμ και VFX σε ματ και παράλλαξ εργασία όπου η ακρίβεια των άκρων έχει σημασία.
Χρησιμεύει ως βάση έρευνας που δείχνει πώς να προσαρμόζονται τα γενετικά προηγούμενα σε πυκνές εργασίες πρόβλεψης.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Μονοφθάλμια Εκτίμηση Βάθους
Συχνές ερωτήσεις
What is Marigold Diffusion Depth Estimation?
Το Marigold επαναχρησιμοποιεί ένα προεκπαιδευμένο μοντέλο διάχυσης δημιουργίας εικόνας (Stable Diffusion) για την πρόβλεψη χαρτών βάθους με υψηλή λεπτομέρεια. Δείχνει ότι μπορείτε να μετατρέψετε την πλούσια οπτική γνώση μιας γεννήτριας σε ένα ακριβές εργαλείο αντίληψης με εκπληκτικά λίγα δεδομένα εκπαίδευσης.
Σε ποιο προεκπαιδευμένο μοντέλο βασίζεται η Marigold;
Το Marigold προσαρμόζει το μοντέλο λανθάνουσας διάχυσης Stable Diffusion για να παράγει χάρτες βάθους.
Πώς πλαισιώνει το Marigold την εργασία εκτίμησης βάθους;
Αντιμετωπίζει το βάθος ως κάτι που πρέπει να «δημιουργηθεί» με βάση την εικόνα εισόδου, επαναχρησιμοποιώντας μηχανήματα διάχυσης.
Τι ήταν έκπληξη για τα δεδομένα προπόνησης της Marigold;
Το Marigold βελτιστοποιήθηκε σε συνθετικά δεδομένα όπως το Hypersim και το Virtual KITTI, αλλά γενικεύει τη μηδενική λήψη σε πραγματικές φωτογραφίες.
Γιατί το Marigold είναι συνήθως πιο αργό από τα μοντέλα βάθους τροφοδοσίας;
Τα μοντέλα διάχυσης εκπέμπουν θόρυβο σε πολλαπλά βήματα, καθιστώντας το συμπέρασμα πιο αργό από ένα μεμονωμένο πέρασμα προς τα εμπρός.
Σε ποιο χώρο εκτελεί το Marigold τη διαδικασία διάχυσης του;
Τόσο η εικόνα όσο και το βάθος κωδικοποιούνται στον λανθάνοντα χώρο VAE όπου το U-Net απενεργοποιεί τον θόρυβο.