ΕπόμενοΕπόμενος οδηγός
Κωδικοποίηση Byte-Pair
Γλώσσα AI
ΟΔΗΓΟΣ οπτικού AI
Instant-NGP Hash Encoding
Το Instant-NGP είναι η τεχνική της NVIDIA που εκπαιδεύει τα πεδία νευρωνικής ακτινοβολίας και άλλα πρωτόγονα νευρωνικά γραφικά σε δευτερόλεπτα αντί για ώρες, αποθηκεύοντας δυνατότητες εκμάθησης σε έναν πίνακα κατακερματισμού πολλαπλών αναλύσεων.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It matters because it made high-quality 3D scene capture fast enough to feel almost interactive.
Βαθιά κατάδυση
Το Instant Neural Graphics Primitives (NVIDIA, 2022) επιτίθεται στο κύριο σημείο συμφόρησης των NeRF: το μεγάλο MLP που πρέπει να ερωτηθεί εκατομμύρια φορές. Αντί να κωδικοποιεί μια τρισδιάστατη θέση με σταθερά ημιτονοειδή χαρακτηριστικά και να βασίζεται σε ένα μεγάλο δίκτυο, το Instant-NGP χρησιμοποιεί μια κωδικοποίηση κατακερματισμού πολλαπλής ανάλυσης. Ο χώρος καλύπτεται από πολλά πλέγματα σε διαφορετικές αναλύσεις. κάθε κελί πλέγματος αντιστοιχίζεται, μέσω μιας χωρικής συνάρτησης κατακερματισμού, σε έναν συμπαγή πίνακα διανυσμάτων χαρακτηριστικών που μπορούν να μάθουν. Για να κωδικοποιήσει ένα σημείο, το σύστημα αναζητά και παρεμβάλλει τριγραμμικά χαρακτηριστικά από κάθε επίπεδο ανάλυσης, τα ενώνει και τα τροφοδοτεί σε ένα μικροσκοπικό MLP. Επειδή το μεγαλύτερο μέρος της εκμάθησης αναπαράστασης ζει στους πίνακες αναζήτησης και απομένει μόνο ένα μικρό δίκτυο, η εκπαίδευση και η απόδοση γίνονται τάξεις μεγέθους πιο γρήγορα, μετατρέποντας συχνά τις ώρες σε δευτερόλεπτα.
Υλοποίηση σε πραγματικό κόσμο
Λήψη πραγματικού αντικειμένου ή δωματίου σε ένα NeRF σε δευτερόλεπτα από ένα σύνολο φωτογραφιών τηλεφώνου
Τοποθέτηση συνάρτησης απόστασης με νευρωνικό σήμα για γρήγορη αναπαράσταση τρισδιάστατου σχήματος
Συμπίεση και αναπαράσταση μιας εικόνας gigapixel ως συνεχόμενο νευρικό πεδίο
Ενισχύει την ταχεία ανακατασκευή σκηνής μέσα σε εργαλειοθήκες έρευνας και προοπτική οπτικοποίηση VFX
Το μέλλον της Instant-NGP Hash Encoding
Η κωδικοποίηση πλέγματος κατακερματισμού έχει γίνει ένα προεπιλεγμένο δομικό στοιχείο πολύ πέρα από την αρχική επίδειξη του NeRF, που χρησιμοποιείται στη σύνθεση προβολής σε πραγματικό χρόνο, την προσαρμογή εικόνας SDF και gigapixel, την προσομοίωση και ως τη ραχοκοκαλιά εργαλείων όπως το Nerfstudio. Ενώ το Gaussian Splatting ανταγωνίζεται τώρα στην ταχύτητα της ακατέργαστης απόδοσης, οι κωδικοποιήσεις κατακερματισμού παραμένουν στο επίκεντρο όπου απαιτούνται συμπαγή, λεία νευρωνικά πεδία με δυνατότητα αναζήτησης και η συνεχιζόμενη εργασία συνδυάζει τα δύο και ωθεί προς μεγαλύτερες, δυναμικές και με δυνατότητα ροής σκηνές.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
- Δημιουργήστε επιλογές. Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
- Ομάδα και ροή εργασίας. Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Προσέξτε
- Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
- Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
- Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Επόμενα βήματα
- Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
- Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
- Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
- Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Instant-NGP Hash Encoding quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Instant-NGP Hash Encoding?
Το Instant-NGP είναι η τεχνική της NVIDIA που εκπαιδεύει τα πεδία νευρωνικής ακτινοβολίας και άλλα πρωτόγονα νευρωνικά γραφικά σε δευτερόλεπτα αντί για ώρες, αποθηκεύοντας δυνατότητες εκμάθησης σε έναν πίνακα κατακερματισμού πολλαπλών αναλύσεων. Έχει σημασία γιατί έκανε τη λήψη 3D σκηνών υψηλής ποιότητας αρκετά γρήγορα ώστε να αισθάνεστε σχεδόν διαδραστική.
Ποιο είναι το κύριο σημείο συμφόρησης στα κλασικά NeRF που στοχεύει το Instant-NGP;
Τα κλασικά NeRF βασίζονται σε ένα μεγάλο MLP που ερωτάται πάρα πολύ συχνά. Το Instant-NGP συρρικνώνει που λειτουργούν για να επιταχύνουν την εκπαίδευση και την απόδοση.
Πού αποθηκεύει το Instant-NGP τις περισσότερες από τις εκμαθήσιμες παραμέτρους του;
Οι δυνατότητες εκμάθησης ζουν σε πίνακες κατακερματισμού πολλαπλών αναλύσεων, αφήνοντας μόνο ένα μικροσκοπικό MLP για να συνδυάσει εξερευνημένες λειτουργίες.
Πώς συνδυάζονται οι λειτουργίες στα πολλαπλά επίπεδα ανάλυσης;
Τα χαρακτηριστικά κάθε επιπέδου παρεμβάλλονται τριγραμμικά και συνενώνονται πριν περάσουν στο μικρό MLP.
Πώς χειρίζεται το Instant-NGP τις συγκρούσεις κατακερματισμού στους πίνακες λεπτής ανάλυσης του;
Επιτρέπονται συγκρούσεις. Οι περιοχές υψηλής πυκνότητας παράγουν ισχυρότερες κλίσεις, ώστε το μικρό MLP και η βελτιστοποίηση να μαθαίνουν να επιλύουν κοινόχρηστους κουλοχέρηδες.
Πόσο περίπου επιταχύνει το Instant-NGP την προπόνηση NeRF;
Μετακινώντας την αναπαράσταση σε πίνακες κατακερματισμού και συρρικνώνοντας το MLP, η εκπαίδευση που κράτησε ώρες μπορεί να ολοκληρωθεί σε δευτερόλεπτα.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα