Πεδία Plenoxels και Voxel Radiance
Τα Plenoxels έδειξαν ότι μπορείτε να ανακατασκευάσετε μια τρισδιάστατη σκηνή με αποτελέσματα ποιότητας NeRF χωρίς καθόλου νευρωνικό δίκτυο — απλώς ένα πλέγμα voxel που αποθηκεύει χρώμα και πυκνότητα.
Επισκόπηση
Το αποτέλεσμα εκπαιδεύεται περίπου 100 φορές πιο γρήγορα από το αρχικό NeRF ενώ ταιριάζει με την οπτική του ποιότητα.
Βαθιά κατάδυση
Το NeRF επιτυγχάνει φωτορεαλισμό αλλά είναι αργό γιατί κάθε δείγμα απαιτεί ένα πέρασμα προς τα εμπρός μέσα από ένα βαθύ νευρωνικό δίκτυο και η εκπαίδευση μπορεί να διαρκέσει ώρες ή μέρες. Οι Plenoxels (Sara Fridovich-Keil, Alex Yu et al., 2022) έθεσαν μια προκλητική ερώτηση: είναι ακόμη απαραίτητο το δίκτυο; Η απάντησή τους ήταν όχι. Αντιπροσωπεύουν τη σκηνή ως ένα αραιό πλέγμα 3D voxel. Κάθε κατειλημμένο voxel αποθηκεύει μια τιμή αδιαφάνειας συν σφαιρικούς αρμονικούς συντελεστές που κωδικοποιούν χρώμα που εξαρτάται από την προβολή. Για την απόδοση ενός εικονοστοιχείου, το σύστημα παρεμβάλλει τριγραμμικά αυτές τις τιμές κατά μήκος της ακτίνας και τις συνθέτει με τυπική απόδοση όγκου. Επειδή δεν υπάρχει δίκτυο, το όλο θέμα βελτιστοποιείται απευθείας με ντεγκραντέ κάθοδο στις τιμές voxel, ρυθμισμένο για ομαλότητα. Το βασικό αποτέλεσμα: συγκρίσιμη ποιότητα με το NeRF, εκπαίδευση σε λίγα λεπτά σε μία μόνο GPU.
Τεχνική διορατικότητα
Το χρώμα που εξαρτάται από την προβολή είναι το έξυπνο κομμάτι. Αντί για ένα δίκτυο που εξάγει RGB ανά γωνία θέασης, κάθε voxel αποθηκεύει ένα μικρό σύνολο σφαιρικών αρμονικών συντελεστών (SH) ανά κανάλι χρώματος. Η αξιολόγηση της βάσης SH στην κατεύθυνση της ακτίνας αναδομεί τον τρόπο με τον οποίο αλλάζει το χρώμα αυτού του σημείου ανάλογα με την οπτική γωνία — καταγράφοντας εντυπωσιακά σημεία και αντανακλάσεις. Η αδιαφάνεια είναι ανεξάρτητη από την κατεύθυνση. Η διαφοροποιήσιμη τριγραμμική παρεμβολή και η απόδοση όγκου καθιστούν κάθε τιμή voxel άμεσα εκπαιδεύσιμη, επομένως η βελτιστοποίηση είναι μια απλή, χωρίς δίκτυο προσαρμογή σε στυλ ελάχιστων τετραγώνων.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον των Plenoxels και των Voxel Radiance Fields
Τα Plenoxels απέδειξαν ότι η αναπαράσταση, όχι το νευρωνικό δίκτυο, οδηγεί την ποιότητα του NeRF - ένα εύρημα που αναμόρφωσε το πεδίο. Ενέπνευσε άμεσα ρητές και υβριδικές μεθόδους όπως τα πλέγματα κατακερματισμού του Instant-NGP και, τελικά, το 3D Gaussian Splatting, το οποίο κυριαρχεί πλέον στην απόδοση ακτινοβολίας σε πραγματικό χρόνο. Αναμένετε συνεχή κίνηση προς ξεκάθαρα, φιλικά προς τη GPU πρωτόγονα που εκπαιδεύονται σε δευτερόλεπτα και αποδίδονται σε πραγματικό χρόνο, με τα νευρωνικά δίκτυα να χρησιμοποιούνται επιλεκτικά και όχι ως το κέντρο αποθήκευσης σκηνής.
Υλοποίηση σε πραγματικό κόσμο
Γρήγορη ανακατασκευή ενός αντικειμένου που αποτυπώθηκε σε ένα τρισδιάστατο στοιχείο μέσα σε λίγα λεπτά για ψηφιοποίηση ηλεκτρονικού εμπορίου ή μουσείου, αντί για ώρες αναμονής.
Γρήγορη δημιουργία πρωτοτύπων σύνθεσης νέας άποψης σε μια μοναδική GPU καταναλωτή για έρευνα και εκπαίδευση.
Δημιουργία επεξεργάσιμων, σαφών σκηνών voxel που οι καλλιτέχνες μπορούν να επιθεωρήσουν και να κλαδέψουν απευθείας, σε αντίθεση με τα αδιαφανή βάρη δικτύου.
Λειτουργώντας ως παράδειγμα διδασκαλίας ότι η αναπαράσταση σκηνής, όχι η βαθιά μάθηση, είναι αυτό που παράγει φωτορεαλιστικά αποτελέσματα.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plenoxels and Voxel Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Πεδία νευρικής ακτινοβολίας
Συχνές ερωτήσεις
Τι είναι το Plenoxels και το Voxel Radiance Fields;
Τα Plenoxels έδειξαν ότι μπορείτε να ανακατασκευάσετε μια τρισδιάστατη σκηνή με αποτελέσματα ποιότητας NeRF χωρίς καθόλου νευρωνικό δίκτυο — απλώς ένα πλέγμα voxel που αποθηκεύει χρώμα και πυκνότητα. Το αποτέλεσμα εκπαιδεύεται περίπου 100 φορές πιο γρήγορα από το αρχικό NeRF ενώ ταιριάζει με την οπτική του ποιότητα.
Ποια είναι η πιο εκπληκτική σχεδιαστική επιλογή στα Plenoxels σε σύγκριση με το NeRF;
Τα Plenoxels αποθηκεύουν τη σκηνή απευθείας σε ένα πλέγμα voxel και βελτιστοποιούν αυτές τις τιμές, χωρίς νευρωνικό δίκτυο στη διοχέτευση.
Τι αποθηκεύει κάθε κατειλημμένο voxel στα Plenoxels για να καταγράψει χρώμα που εξαρτάται από την προβολή;
Κάθε voxel έχει αδιαφάνεια συν σφαιρικούς αρμονικούς συντελεστές ανά κανάλι χρώματος, οι οποίοι κωδικοποιούν πώς αλλάζει το χρώμα με την κατεύθυνση προβολής.
Πόσο πιο γρήγορα προπονήθηκαν τα Plenoxels σε σύγκριση με το αρχικό NeRF;
Καταργώντας τα περάσματα δικτύου ανά δείγμα, τα Plenoxel εκπαιδεύτηκαν της τάξης των 100 φορές πιο γρήγορα, ολοκληρώνοντας μέσα σε λίγα λεπτά.
Πώς λαμβάνονται οι τιμές από το πλέγμα voxel κατά μήκος μιας ακτίνας;
Το Plenoxels χρησιμοποιεί διαφοροποιήσιμη τριγραμμική παρεμβολή για την ομαλή ανάγνωση του χρώματος και της αδιαφάνειας μεταξύ των κέντρων voxel.
Ποιο ευρύτερο συμπέρασμα κατέδειξαν τα Plenoxels στο πεδίο;
Αντιστοιχίζοντας την ποιότητα NeRF με κανένα δίκτυο, τα Plenoxels έδειξαν ότι η αναπαράσταση και η βελτιστοποίηση, όχι το MLP, ήταν υπεύθυνες για τα αποτελέσματα.