Γενιά από κείμενο σε 3D
Η γενιά κειμένου σε 3D μετατρέπει μια γραπτή προτροπή όπως «μια vintage δερμάτινη πολυθρόνα» σε ένα πλήρες τρισδιάστατο μοντέλο που μπορείτε να περιστρέψετε, να ανάψετε και να ρίξετε σε παιχνίδι ή σκηνή.
Επισκόπηση
It promises to do for 3D assets what image generators did for pictures.
Βαθιά κατάδυση
Τα συστήματα Text-to-3D παράγουν μια τρισδιάστατη αναπαράσταση (ένα πλέγμα, ένα νέφος σημείου ή ένα πεδίο ακτινοβολίας) από μια πρόταση. Οι πρώτες ανακαλύψεις όπως το DreamFusion του Google (2022) χρησιμοποίησαν Δειγματοληψία Απόσταξης Βαθμολογίας: αντί να εκπαιδεύονται σε τρισδιάστατα δεδομένα, βελτιστοποίησαν ένα NeRF έτσι ώστε κάθε αποδοθείσα 2D προβολή να φαίνεται εύλογη σε ένα παγωμένο μοντέλο διάχυσης 2D εικόνας. Αυτό το bootstrapped 3D σχήματα από προηγούμενες 2D, αλλά ήταν αργό, χρειαζόταν ώρες ανά αντικείμενο και συχνά δημιουργούσε το «πρόβλημα του Ιανού», όπου ένα πλάσμα μεγαλώνει πολλαπλά πρόσωπα. Τα νεότερα μοντέλα προώθησης τροφοδοσίας (OpenAI's Point-E και Shap-E, συν τα μοντέλα Gaussian splatting και μεγάλα μοντέλα ανακατασκευής) δημιουργούν στοιχεία σε δευτερόλεπτα έως λεπτά. Η ποιότητα, η συνέπεια πολλαπλών προβολών, η καθαρή τοπολογία και οι χρησιμοποιήσιμες υφές παραμένουν ενεργές προκλήσεις.
Τεχνική διορατικότητα
Το βασικό κόλπο του DreamFusion, Score Distillation Sampling (SDS), δεν χρειάζεται τρισδιάστατα δεδομένα εκπαίδευσης. Αποδίδει τυχαίες προβολές ενός NeRF, προσθέτει θόρυβο και ζητά από ένα προεκπαιδευμένο μοντέλο 2D διάχυσης πώς να αποκρυπτογραφήσει το θόρυβο προς την προτροπή κειμένου. Αυτό το σήμα απενεργοποίησης θορύβου γίνεται μια κλίση που ωθεί τις παραμέτρους του NeRF, έτσι ώστε κάθε άποψη να ταιριάζει με την προτροπή. Το δισδιάστατο μοντέλο λειτουργεί ως κριτικός αποστάζοντας τη γνώση της εικόνας του σε ένα συνεπές τρισδιάστατο αντικείμενο.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον της γενιάς Text-to-3D
Αναμένετε μια μετάβαση από την αργή βελτιστοποίηση ανά αντικείμενο σε γεννήτριες γρήγορης προώθησης που εκπέμπουν πλέγματα έτοιμα για παραγωγή με καθαρή τοπολογία, διαχωρισμένα υλικά και χάρτες UV σε δευτερόλεπτα. Το 3D Gaussian splatting και τα μεγάλα μοντέλα ανακατασκευής το επιταχύνουν. Η ενσωμάτωση σε μηχανές παιχνιδιών, αγωγούς CAD και AR, καθώς και μετατροπή κειμένου σε 4D (κινούμενα, κινούμενα αντικείμενα), θα καταστήσει τη δημιουργία περιουσιακών στοιχείων συνομιλίας ρουτίνα, αν και θα συνεχιστεί η εκκαθάριση του ανθρώπινου δυναμικού για την εξάρτηση και η συμμόρφωση με τις προδιαγραφές του παιχνιδιού.
Υλοποίηση σε πραγματικό κόσμο
Ένα στούντιο παιχνιδιών δημιουργεί πρωτότυπα στηρίγματα φόντου (κιβώτια, λάμπες, φύλλωμα) από μηνύματα κειμένου για να γεμίσει επίπεδα προτού οι καλλιτέχνες βελτιώσουν τα στοιχεία των ηρώων.
Ένας ιστότοπος ηλεκτρονικού εμπορίου δημιουργεί αυτόματα περιστρεφόμενες τρισδιάστατες προεπισκοπήσεις προϊόντων από περιγραφές καταλόγου για λειτουργίες AR «προβολή στο δωμάτιό σας».
Ένας αρχιτέκτονας γεμίζει γρήγορα μια αναλυτική απόδοση με έπιπλα πληκτρολογώντας «καναπές στα μέσα του αιώνα» αντί να περιηγηθεί σε βιβλιοθήκες στοιχείων.
Μια ομάδα pre-viz αποκλείει το ντύσιμο μιας σκηνής από μια περιγραφή σεναρίου για να δοκιμάσει τις γωνίες της κάμερας πριν κατασκευάσει τα τελικά μοντέλα.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Text-to-3D Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Αγωγός Magic3D Text-to-3D
Συχνές ερωτήσεις
What is Text-to-3D Generation?
Η γενιά κειμένου σε 3D μετατρέπει μια γραπτή προτροπή όπως «μια vintage δερμάτινη πολυθρόνα» σε ένα πλήρες τρισδιάστατο μοντέλο που μπορείτε να περιστρέψετε, να ανάψετε και να ρίξετε σε παιχνίδι ή σκηνή. Υπόσχεται να κάνει για τα τρισδιάστατα στοιχεία ό,τι έκαναν οι γεννήτριες εικόνων για τις εικόνες.
Ποια ήταν η βασική καινοτομία του DreamFusion (2022);
Το DreamFusion βελτιστοποίησε ένα NeRF, έτσι ώστε κάθε αποδοθείσα 2D προβολή ικανοποιούσε ένα παγωμένο μοντέλο διάχυσης 2D εικόνας, χρησιμοποιώντας SDS και δεν απαιτούσε δεδομένα εκπαίδευσης 3D.
Τι είναι το «πρόβλημα Janus» στη μετατροπή κειμένου σε 3D;
Πήρε το όνομά του από τον διπρόσωπο Ρωμαίο θεό, το πρόβλημα Janus είναι όταν ένα αντικείμενο μεγαλώνει επιπλέον όψεις, επειδή κάθε δισδιάστατη προβολή βελτιστοποιείται κάπως ανεξάρτητα.
Ποιο ζεύγος ήταν τα πρώιμα μοντέλα προώθησης κειμένου σε 3D της OpenAI;
Ο OpenAI κυκλοφόρησε τα Point-E (σύννεφα σημείων) και Shap-E, τα οποία δημιουργούν τρισδιάστατα στοιχεία πολύ πιο γρήγορα από τις μεθόδους που βασίζονται στη βελτιστοποίηση.
Γιατί οι πρώτες μέθοδοι που βασίζονταν στη βελτιστοποίηση, όπως το DreamFusion, ήταν αργές;
Κάθε αντικείμενο απαιτούσε επαναληπτική βελτιστοποίηση ενός NeRF σε πολλές αποδόσεις με θόρυβο, συχνά απαιτώντας ώρες ανά στοιχείο.
Ποια μορφή εξόδου ΔΕΝ είναι μια τυπική τρισδιάστατη αναπαράσταση που παράγεται από αυτά τα συστήματα;
Τα συστήματα κειμένου σε 3D εξάγουν πλέγματα, σύννεφα σημείων ή πεδία ακτινοβολίας. Το MP3 είναι μια μορφή ήχου, όχι μια αναπαράσταση 3D.