Διαφοροποιήσιμη απόδοση
Η διαφοροποιήσιμη απόδοση κάνει τη διαδικασία μετατροπής μιας τρισδιάστατης σκηνής σε εικόνα 2D πλήρως διαφοροποιήσιμη, ώστε να μπορείτε να υπολογίσετε τις διαβαθμίσεις από τα εικονοστοιχεία που αποδίδονται πίσω στις παραμέτρους σκηνής.
Επισκόπηση
This lets you optimize geometry, materials, lighting, and camera using gradient descent.
Βαθιά κατάδυση
Η παραδοσιακή απόδοση είναι μονόδρομος: τροφοδοτούν τη γεωμετρία, τα υλικά, τα φώτα και μια κάμερα και βγαίνουν pixel. Η διαφοροποιήσιμη απόδοση αντιστρέφει αυτή τη ροή υπολογίζοντας πώς αλλάζει κάθε pixel εξόδου σε σχέση με κάθε παράμετρο εισόδου. Με αυτές τις διαβαθμίσεις, ένας βελτιστοποιητής μπορεί να προσαρμόσει ένα τρισδιάστατο σχήμα ή τις υφές του έως ότου η αποδοθείσα εικόνα ταιριάζει με μια φωτογραφία στόχο, η οποία είναι η καρδιά της αντίστροφης απόδοσης και της ανάλυσης-σύνθεσης. Η κύρια δυσκολία είναι ότι η απόδοση περιλαμβάνει ασυνέχειες, ειδικά στις σιλουέτες αντικειμένων και στις άκρες απόφραξης, όπου ένα εικονοστοιχείο μεταπηδά απότομα από το προσκήνιο στο παρασκήνιο. Μέθοδοι όπως η απαλή ραστεροποίηση (SoftRas), η δειγματοληψία άκρων (ο Redner του Li et al.) και ο ραστεροποιητής στο PyTorch3D τα χειρίζονται με εξομάλυνση ή ειδικά ολοκληρώματα ορίων. Η εκπαίδευση NeRF και το 3D Gaussian splatting είναι δημοφιλείς εφαρμογές.
Τεχνική διορατικότητα
Η βασική πρόκληση είναι οι ασυνέχειες ορατότητας. Στη σιλουέτα ενός αντικειμένου, ένα εικονοστοιχείο κουμπώνει από το προσκήνιο στο φόντο, έτσι η αφελής παράγωγος είναι μηδενική σχεδόν παντού και απροσδιόριστη στην άκρη, χωρίς να δίνει καμία χρήσιμη κλίση για το σχήμα. Οι λύσεις είτε μαλακώνουν την κάλυψη, ώστε τα τρίγωνα να συμβάλλουν σε ένα ομαλό, θολό αποτύπωμα στα κοντινά εικονοστοιχεία (μαλακή ραστεροποίηση) είτε να δειγματίζουν ρητά κατά μήκος των άκρων για να υπολογιστεί ο οριακός όρος του ολοκληρώματος απόδοσης (δειγματοληψία ακμών).
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
The Future of Differentiable Rendering
Η διαφοροποιημένη απόδοση γίνεται ο συνδετικός ιστός μεταξύ των γραφικών και της βαθιάς μάθησης. Καθώς ωριμάζουν τα διαφοροποιήσιμα renderers σε πραγματικό χρόνο και οι αγωγοί Gaussian-slatting, αναμένετε πιο στενούς βρόχους για τρισδιάστατη ανακατασκευή από φωτογραφίες, σύλληψη νευρικού υλικού, προσομοίωση ρομποτικής με εκμάθηση φυσικής και συστήματα από άκρο σε άκρο όπου μια απώλεια ρέει από την τελική εικόνα μέχρι τις παραμέτρους της σκηνής. Η διαφοροποιημένη ανίχνευση μονοπατιών για πλήρη παγκόσμιο φωτισμό είναι ένα ενεργό ερευνητικό σύνορο που κινείται προς την πρακτικότητα.
Υλοποίηση σε πραγματικό κόσμο
Ανακατασκευή του σχήματος και της υφής ενός τρισδιάστατου αντικειμένου από μια χούφτα φωτογραφίες βελτιστοποιώντας το μοντέλο έως ότου οι αποδόσεις ταιριάζουν με τις εικόνες (αντίστροφη απόδοση).
Εκπαίδευση NeRFs και 3D Gaussian splats, όπου οι διαβαθμίσεις από τις αποδιδόμενες προβολές ενημερώνουν την αναπαράσταση σκηνής.
Εκτίμηση των υλικών ιδιοτήτων ενός αντικειμένου (τραχύτητα, ανάκλαση) αντιστοιχίζοντας τα αποδιδόμενα σημεία με μια πραγματική φωτογραφία.
Βαθμονόμηση κάμερας και πόζας στη ρομποτική, προσαρμογή ενός γνωστού τρισδιάστατου μοντέλου σε μια εικόνα κάμερας για να ανακτήσει τη θέση του.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Differentiable Rendering quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
DDSP Διαφοροποιήσιμη σύνθεση ήχου
Συχνές ερωτήσεις
What is Differentiable Rendering?
Η διαφοροποιήσιμη απόδοση κάνει τη διαδικασία μετατροπής μιας τρισδιάστατης σκηνής σε εικόνα 2D πλήρως διαφοροποιήσιμη, ώστε να μπορείτε να υπολογίσετε τις διαβαθμίσεις από τα εικονοστοιχεία που αποδίδονται πίσω στις παραμέτρους σκηνής. Αυτό σας επιτρέπει να βελτιστοποιήσετε τη γεωμετρία, τα υλικά, τον φωτισμό και την κάμερα χρησιμοποιώντας ντεγκραντέ κάθοδο.
Τι σας επιτρέπει να υπολογίζετε η διαφοροποιήσιμη απόδοση;
Κάνοντας την απόδοση διαφοροποιήσιμη, λαμβάνετε διαβαθμίσεις που ρέουν από τα εικονοστοιχεία πίσω στις εισόδους σκηνής, επιτρέποντας τη βελτιστοποίηση βάσει κλίσης.
Γιατί οι σιλουέτες αντικειμένων αποτελούν βασική δυσκολία για διαφοροποιήσιμη απόδοση;
Σε μια σιλουέτα, ένα εικονοστοιχείο κουμπώνει μεταξύ του προσκηνίου και του φόντου, επομένως η αφελής παράγωγος είναι μηδενική ή απροσδιόριστη και δεν φέρει πληροφορίες σχήματος.
Πώς αντιμετωπίζει η μαλακή ραστεροποίηση το πρόβλημα της ασυνέχειας;
Η απαλή ραστεροποίηση (π.χ. SoftRas) μαλακώνει την κάλυψη, έτσι ώστε κάθε τρίγωνο να επηρεάζει ομαλά τα γύρω εικονοστοιχεία, παράγοντας χρησιμοποιήσιμες διαβαθμίσεις.
Τι είναι η «αντίστροφη απόδοση»;
Η αντίστροφη απόδοση χρησιμοποιεί διαφοροποιήσιμη απόδοση για τη βελτιστοποίηση των παραμέτρων σκηνής έως ότου η συνθετική εικόνα ταιριάζει με μια παρατηρούμενη φωτογραφία.
Ποια σύγχρονη τεχνική βασίζεται στη διαφοροποιημένη απόδοση για την εκπαίδευση;
Τόσο τα NeRFs όσο και η τρισδιάστατη Gaussian splatting βελτιστοποιούνται με την οπίσθια διάδοση της απώλειας χώρου εικόνας μέσω ενός διαφοροποιήσιμου renderer.