Σύνθεση όψης μυθιστορήματος
Η νέα σύνθεση όψης δημιουργεί φωτορεαλιστικές εικόνες μιας σκηνής από απόψεις που δεν φωτογραφήθηκαν ποτέ στην πραγματικότητα.
Επισκόπηση
It matters because it turns a handful of photos into a fully explorable 3D scene, powering immersive media, VR, and digital twins.
Βαθιά κατάδυση
Το Novel view synthesis (NVS) λαμβάνει ένα σύνολο εικόνων εισόδου με γνωστές στάσεις κάμερας και αποδίδει τη σκηνή από νέες, αόρατες θέσεις κάμερας. Αντί να ανακατασκευάζει ένα ρητό πλέγμα, το σύγχρονο NVS μαθαίνει συχνά μια συνεχή αναπαράσταση της εμφάνισης και της γεωμετρίας της σκηνής. Τα Πεδία Νευρωνικής Ακτινοβολίας (NeRF) κωδικοποιούν μια σκηνή ως συνάρτηση χαρτογράφησης μιας τρισδιάστατης θέσης και της κατεύθυνσης προβολής στο χρώμα και την πυκνότητα, στη συνέχεια συνθέτουν προβολές με ογκομετρική πορεία ακτίνων, δειγματοληψία σημείων κατά μήκος της ακτίνας κάθε εικονοστοιχείου και ενσωματώνοντάς τα. Το 3D Gaussian Splatting αντιπροσωπεύει τη σκηνή καθώς εκατομμύρια έγχρωμοι τρισδιάστατοι Gaussian ραστεροποιούνται σε πραγματικό χρόνο. Και τα δύο καταγράφουν εφέ που εξαρτώνται από την προβολή, όπως αντανακλάσεις και κατοπτρικά στιγμιότυπα, παράγοντας εντυπωσιακά ρεαλιστικά αποτελέσματα με τα οποία οι παραδοσιακοί αγωγοί που βασίζονται στη γεωμετρία δυσκολεύονται να ταιριάξουν.
Τεχνική διορατικότητα
Το NeRF εκπαιδεύει ένα μικρό νευρωνικό δίκτυο καθαρά με φωτομετρική επίβλεψη: για κάθε εκπαιδευτικό εικονοστοιχείο εκπέμπει μια ακτίνα, λαμβάνει δείγματα τρισδιάστατων σημείων, αναζητά χρώμα και πυκνότητα και τα συνθέτει μέσω του ολοκληρώματος απόδοσης όγκου και, στη συνέχεια, διαδίδει τη διαφορά από το πραγματικό εικονοστοιχείο. Η κωδικοποίηση θέσης επιτρέπει στο δίκτυο να αντιπροσωπεύει λεπτομέρειες υψηλής συχνότητας. Το Gaussian Splatting απορρίπτει το δίκτυο ανά ακτίνα υπέρ των ρητών Gaussians και της διαφοροποιήσιμης ραστεροποίησης, διαπραγματεύοντας τη μνήμη για πολύ ταχύτερη εκπαίδευση και απόδοση σε πραγματικό χρόνο.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
The Future of Novel View Synthesis
Το NVS γίνεται ταχύτερο, επεξεργάσιμο και δυναμικό. Τεχνικές όπως το Instant-NGP μειώνουν την προπόνηση από ώρες σε δευτερόλεπτα, ενώ οι μέθοδοι 4D επεκτείνουν τα Gaussian splats σε κινούμενες σκηνές. Αναμένετε παραγωγικά μοντέλα που παρουσιάζουν ψευδαισθήσεις εύλογες αόρατες περιοχές από αραιές ή μεμονωμένες εικόνες, ενσωμάτωση κειμένου σε 3D, relightable και animable avatars και πεδία ακτινοβολίας ροής, καθιστώντας την ογκομετρική λήψη πρακτική για φιλμ, τηλεπαρουσία, προσομοίωση ρομποτικής και AR καταναλωτών.
Υλοποίηση σε πραγματικό κόσμο
Μετατροπή ενός βίντεο τηλεφώνου ενός αντικειμένου σε εξερευνήσιμη τρισδιάστατη σκηνή για ηλεκτρονικό εμπόριο ή εικονικές περιηγήσεις
Δημιουργία επαναλήψεων σε χρόνο bullet και ελεύθερης οπτικής γωνίας σε αθλήματα και ταινίες από λήψη με πολλές κάμερες
Δημιουργία φωτορεαλιστικών ψηφιακών δίδυμων δωματίων και περιβαλλόντων για περιηγήσεις VR και ακίνητα
Δημιουργία εκπαιδευτικών περιβαλλόντων και πόρων για ρομποτική και προσομοίωση αυτόνομων οχημάτων
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Novel View Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Zero-1-to-3 Novel View Diffusion
Συχνές ερωτήσεις
What is Novel View Synthesis?
Η νέα σύνθεση όψης δημιουργεί φωτορεαλιστικές εικόνες μιας σκηνής από απόψεις που δεν φωτογραφήθηκαν ποτέ στην πραγματικότητα. Έχει σημασία γιατί μετατρέπει μια χούφτα φωτογραφίες σε μια πλήρως εξερευνήσιμη σκηνή 3D, τροφοδοτώντας καθηλωτικά μέσα, VR και ψηφιακά δίδυμα.
Ποιος είναι ο στόχος της σύνθεσης νέας άποψης;
Η νέα σύνθεση όψης παράγει φωτορεαλιστικές εικόνες από νέες, αόρατες απόψεις χρησιμοποιώντας ένα σύνολο εικόνων εισόδου με γνωστές πόζες.
Σε τι αντιστοιχίζει ένα πεδίο νευρικής ακτινοβολίας (NeRF) μια τρισδιάστατη θέση και κατεύθυνση θέασης;
Το NeRF μαθαίνει μια συνάρτηση από (θέση, κατεύθυνση) έως το εκπεμπόμενο χρώμα και την πυκνότητα, η οποία στη συνέχεια ενσωματώνεται κατά μήκος των ακτίνων για την απόδοση εικόνων.
Πώς αποδίδει το NeRF ένα pixel για μια νέα προβολή;
Για κάθε εικονοστοιχείο, το NeRF εκπέμπει μια ακτίνα, λαμβάνει δείγματα τρισδιάστατων σημείων, ερωτά το δίκτυο για χρώμα/πυκνότητα και τα συνθέτει με το ολοκλήρωμα απόδοσης όγκου.
Ποια είναι η βασική αναπαραστατική διαφορά του 3D Gaussian Splatting σε σύγκριση με το NeRF;
Το Gaussian Splatting αντιπροσωπεύει τη σκηνή με σαφείς τρισδιάστατους Gaussian primitives και διαφοροποιήσιμη ραστεροποίηση, επιτρέποντας πολύ πιο γρήγορη απόδοση σε πραγματικό χρόνο από τα ερωτήματα δικτύου ανά ακτίνα του NeRF.
Γιατί οι μέθοδοι NVS μπορούν να αναπαράγουν αντανακλάσεις και λαμπερά σημεία;
Ρυθμίζοντας το χρώμα στην κατεύθυνση προβολής, τα NeRF και Gaussian splats καταγράφουν εφέ που εξαρτώνται από την προβολή, όπως κατοπτρικά τονισμένα σημεία και αντανακλάσεις.