ΕπόμενοΕπόμενος οδηγός
Sora και Μετατροπή κειμένου σε βίντεο
Οπτική τεχνητή νοημοσύνη
ΟΔΗΓΟΣ οπτικού AI
Κείμενο σε βίντεο Make-A-Video
Το Make-A-Video είναι το σύστημα του Meta του 2022 που μετατρέπει μια προτροπή κειμένου σε σύντομο βίντεο κλιπ χωρίς ποτέ εκπαίδευση σε ζεύγη κειμένου-βίντεο με ετικέτα.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Έχει σημασία γιατί έδειξε ότι η οπτική γνώση μέσα στα μοντέλα κειμένου σε εικόνα θα μπορούσε να «διδαχθεί» να κινείται χρησιμοποιώντας μόνο βίντεο χωρίς ετικέτα.
Βαθιά κατάδυση
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Υλοποίηση σε πραγματικό κόσμο
Εμψύχωση μιας περιγραφικής πρότασης σε ένα σύντομο κλιπ για μια ανάρτηση στα μέσα κοινωνικής δικτύωσης
Ζωντανεύει μια στατική ιδέα όπως «ένα αρκουδάκι που ζωγραφίζει ένα πορτρέτο» ως κινούμενη απεικόνιση
Παρεμβολή μεταξύ δύο στατικών εικόνων που παρέχονται από τον χρήστη για να δημιουργήσετε ένα βίντεο ομαλή μετάβαση
Δημιουργία προσχέδων γρήγορης κίνησης φανταστικών σκηνών για storyboarding πριν από οποιοδήποτε γύρισμα
Το μέλλον του Make-A-Video Text-to-Video
Η συνταγή εικόνας-προηγούμενης-συν-χωρίς ετικέτας του Make-A-Video δημιούργησε ολόκληρο το κύμα μετατροπής κειμένου σε βίντεο. Οι απόγονοί του δίνουν έμφαση σε μακρύτερα, υψηλότερης ανάλυσης, προσωρινά σταθερά κλιπ με ελεγχόμενη κίνηση της κάμερας και ήχο. Αναμένετε ότι η βασική ιδέα, η επαναχρησιμοποίηση τεράστιων γνώσεων εικόνας και η φθηνή εκμάθηση κίνησης, θα συνεχιστεί ακόμη και όταν οι αρχιτεκτονικές στρέφονται προς τη λανθάνουσα διάχυση που βασίζεται σε μετασχηματιστή και τα ενοποιημένα μοντέλα που δέχονται επίσης ρύθμιση εικόνας ή βίντεο για επεξεργασία και συνέχεια.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
- Δημιουργήστε επιλογές. Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
- Ομάδα και ροή εργασίας. Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Προσέξτε
- Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
- Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
- Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Επόμενα βήματα
- Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
- Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
- Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
- Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Make-A-Video Text-to-Video quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το Make-A-Video Text-to-Video;
Το Make-A-Video είναι το σύστημα του Meta του 2022 που μετατρέπει μια προτροπή κειμένου σε σύντομο βίντεο κλιπ χωρίς ποτέ εκπαίδευση σε ζεύγη κειμένου-βίντεο με ετικέτα. Έχει σημασία γιατί έδειξε ότι η οπτική γνώση μέσα στα μοντέλα κειμένου σε εικόνα μπορούσε να «διδαχθεί» να κινείται χρησιμοποιώντας μόνο βίντεο χωρίς ετικέτα.
Ποια ήταν η κεντρική καινοτομία που επέτρεψε στο Make-A-Video να μην χρειάζεται ζεύγη κειμένου-βίντεο με ετικέτα;
Το Make-A-Video αποσυνδέει το πρόβλημα: ένα μοντέλο κειμένου σε εικόνα μαθαίνει πώς μοιάζουν τα πράγματα από τις εικόνες με λεζάντες, ενώ τα ξεχωριστά χρονικά επίπεδα μαθαίνουν την κίνηση από ακατέργαστο, χωρίς ετικέτα βίντεο.
Πώς το Make-A-Video προσθέτει δυνατότητα κίνησης σε ένα μοντέλο εικόνας;
Επεκτείνει τις δισδιάστατες χωρικές συνελεύσεις και την προσοχή με νέα χρονικά επίπεδα που μαθαίνουν πώς αλλάζει το περιεχόμενο με την πάροδο του χρόνου.
Τι κάνουν τα στάδια παρεμβολής πλαισίου και υπερ-ανάλυσης;
Μετά από ένα χοντρό σχέδιο χαμηλής ανάλυσης και χαμηλού ρυθμού καρέ, η παρεμβολή προσθέτει καρέ και οι μονάδες υπερ-ανάλυσης αυξάνουν την ανάλυση.
Ποιος ήταν ένας τυπικός περιορισμός της παραγωγής του Make-A-Video;
Τα κλιπ ήταν μόνο λίγα δευτερόλεπτα, σχετικά χαμηλή ανάλυση και επιρρεπή σε χρονικό τρεμόπαιγμα και παραμόρφωση.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα