Κείμενο σε βίντεο Make-A-Video
Το Make-A-Video είναι το σύστημα του Meta του 2022 που μετατρέπει μια προτροπή κειμένου σε σύντομο βίντεο κλιπ χωρίς ποτέ εκπαίδευση σε ζεύγη κειμένου-βίντεο με ετικέτα.
Επισκόπηση
Έχει σημασία γιατί έδειξε ότι η οπτική γνώση μέσα στα μοντέλα κειμένου σε εικόνα θα μπορούσε να «διδαχθεί» να κινείται χρησιμοποιώντας μόνο βίντεο χωρίς ετικέτα.
Βαθιά κατάδυση
Το Make-A-Video, που ανακοινώθηκε από την Meta AI τον Σεπτέμβριο του 2022, δημιουργεί μερικά δευτερόλεπτα βίντεο από μια πρόταση όπως «ένας σκύλος που φορά μια κάπα υπερήρωα πετάει στον ουρανό». Το βασικό του κόλπο είναι η αποσύνδεση της εμφάνισης από την κίνηση: ένα μοντέλο κειμένου σε εικόνα (χτισμένο σε κοινό χώρο κειμένου-εικόνας σε στυλ CLIP) μαθαίνει πώς μοιάζουν τα πράγματα από δισεκατομμύρια εικόνες με λεζάντες, ενώ ξεχωριστά χωροχρονικά στρώματα μαθαίνουν πώς κινούνται τα πράγματα μόνο από βίντεο χωρίς ετικέτα. Αυτό παρακάμπτει την έλλειψη ζευγών κειμένου-βίντεο υψηλής ποιότητας. Το βασικό μοντέλο παράγει κλιπ χαμηλής ανάλυσης και χαμηλού ρυθμού καρέ και, στη συνέχεια, τα ειδικά δίκτυα παρεμβάλλουν επιπλέον καρέ και αναβαθμισμένη χωρική ανάλυση. Το αποτέλεσμα ήταν εντυπωσιακά συνεκτικό για την εποχή του, αν και τα κλιπ ήταν σύντομα, θολά και επιρρεπή σε τρεμόπαιγμα και παραμόρφωση.
Τεχνική διορατικότητα
Το Make-A-Video επεκτείνει τις συνελεύσεις δημιουργίας 2D εικόνας και την προσοχή σε 3D προσθέτοντας ψευδοχρονικά επίπεδα. Τα προεκπαιδευμένα χωρικά βάρη παγώνουν ή ρυθμίζονται με ακρίβεια, ενώ τα νέα χρονικά επίπεδα μαθαίνουν την κίνηση από το ακατέργαστο βίντεο, επομένως δεν χρειάζονται ετικέτες κειμένου-βίντεο. Στη συνέχεια, ένα δίκτυο παρεμβολής πλαισίου πυκνώνει το χρονοδιάγραμμα και οι μονάδες διάχυσης υπερ-ανάλυσης αυξάνουν τις χωρικές λεπτομέρειες, μετατρέποντας ένα χοντρό βύθισμα 16 πλαισίων, χαμηλής ανάλυσης σε ένα πιο ομαλό, πιο ευκρινές κλιπ σε μια διαδοχική σωλήνωση.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον του Make-A-Video Text-to-Video
Η συνταγή εικόνας-προηγούμενης-συν-χωρίς ετικέτας του Make-A-Video δημιούργησε ολόκληρο το κύμα μετατροπής κειμένου σε βίντεο. Οι απόγονοί του δίνουν έμφαση σε μακρύτερα, υψηλότερης ανάλυσης, προσωρινά σταθερά κλιπ με ελεγχόμενη κίνηση της κάμερας και ήχο. Αναμένετε ότι η βασική ιδέα, η επαναχρησιμοποίηση τεράστιων γνώσεων εικόνας και η φθηνή εκμάθηση κίνησης, θα συνεχιστεί ακόμη και όταν οι αρχιτεκτονικές στρέφονται προς τη λανθάνουσα διάχυση που βασίζεται σε μετασχηματιστή και τα ενοποιημένα μοντέλα που δέχονται επίσης ρύθμιση εικόνας ή βίντεο για επεξεργασία και συνέχεια.
Υλοποίηση σε πραγματικό κόσμο
Εμψύχωση μιας περιγραφικής πρότασης σε ένα σύντομο κλιπ για μια ανάρτηση στα μέσα κοινωνικής δικτύωσης
Ζωντανεύει μια στατική ιδέα όπως «ένα αρκουδάκι που ζωγραφίζει ένα πορτρέτο» ως κινούμενη απεικόνιση
Παρεμβολή μεταξύ δύο στατικών εικόνων που παρέχονται από τον χρήστη για να δημιουργήσετε ένα βίντεο ομαλή μετάβαση
Δημιουργία προσχέδων γρήγορης κίνησης φανταστικών σκηνών για storyboarding πριν από οποιοδήποτε γύρισμα
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Make-A-Video Text-to-Video quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Sora και Μετατροπή κειμένου σε βίντεο
Συχνές ερωτήσεις
Τι είναι το Make-A-Video Text-to-Video;
Το Make-A-Video είναι το σύστημα του Meta του 2022 που μετατρέπει μια προτροπή κειμένου σε σύντομο βίντεο κλιπ χωρίς ποτέ εκπαίδευση σε ζεύγη κειμένου-βίντεο με ετικέτα. Έχει σημασία γιατί έδειξε ότι η οπτική γνώση μέσα στα μοντέλα κειμένου σε εικόνα μπορούσε να «διδαχθεί» να κινείται χρησιμοποιώντας μόνο βίντεο χωρίς ετικέτα.
Ποια ήταν η κεντρική καινοτομία που επέτρεψε στο Make-A-Video να μην χρειάζεται ζεύγη κειμένου-βίντεο με ετικέτα;
Το Make-A-Video αποσυνδέει το πρόβλημα: ένα μοντέλο κειμένου σε εικόνα μαθαίνει πώς μοιάζουν τα πράγματα από τις εικόνες με λεζάντες, ενώ τα ξεχωριστά χρονικά επίπεδα μαθαίνουν την κίνηση από ακατέργαστο, χωρίς ετικέτα βίντεο.
Πώς το Make-A-Video προσθέτει δυνατότητα κίνησης σε ένα μοντέλο εικόνας;
Επεκτείνει τις δισδιάστατες χωρικές συνελεύσεις και την προσοχή με νέα χρονικά επίπεδα που μαθαίνουν πώς αλλάζει το περιεχόμενο με την πάροδο του χρόνου.
Τι κάνουν τα στάδια παρεμβολής πλαισίου και υπερ-ανάλυσης;
Μετά από ένα χοντρό σχέδιο χαμηλής ανάλυσης και χαμηλού ρυθμού καρέ, η παρεμβολή προσθέτει καρέ και οι μονάδες υπερ-ανάλυσης αυξάνουν την ανάλυση.
Ποιος ήταν ένας τυπικός περιορισμός της παραγωγής του Make-A-Video;
Τα κλιπ ήταν μόνο λίγα δευτερόλεπτα, σχετικά χαμηλή ανάλυση και επιρρεπή σε χρονικό τρεμόπαιγμα και παραμόρφωση.