Créer une vidéo Text-to-Video
Make-A-Video est le système 2022 de Meta qui transforme une invite textuelle en un court clip vidéo sans jamais s'entraîner sur les paires texte-vidéo étiquetées.
Aperçu
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Plongée profonde
Make-A-Video, annoncé par Meta AI en septembre 2022, génère quelques secondes de vidéo à partir d'une phrase comme « un chien portant une cape de super-héros volant dans le ciel ». Son astuce clé consiste à dissocier l'apparence du mouvement : un modèle texte-image (construit sur un espace et une diffusion texte-image conjoints de style CLIP) apprend à quoi ressemblent les choses à partir de milliards d'images sous-titrées, tandis que des couches spatio-temporelles distinctes apprennent comment les choses bougent à partir de la seule vidéo non étiquetée. Cela évite la rareté des paires texte-vidéo de haute qualité. Le modèle de base produit des clips basse résolution et à faible fréquence d'images, puis des réseaux dédiés interpolent des images supplémentaires et augmentent la résolution spatiale. Le résultat était étonnamment cohérent pour son époque, même si les clips étaient courts, flous et sujets au scintillement et à la déformation.
Aperçu technique
Make-A-Video étend les convolutions et l'attention de la génération d'images 2D à la 3D en ajoutant des couches pseudo-temporelles. Les pondérations spatiales pré-entraînées sont figées ou affinées tandis que de nouvelles couches temporelles apprennent le mouvement à partir de la vidéo brute, de sorte qu'aucune étiquette texte-vidéo n'est nécessaire. Un réseau d'interpolation d'images densifie ensuite la chronologie et les modules de diffusion en super-résolution augmentent les détails spatiaux, transformant un brouillon grossier de 16 images en basse résolution en un clip plus fluide et plus net dans un pipeline en cascade.
Impact stratégique
Vitesse et échelle
L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
Choix de construction
Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
Équipe et flux de travail
Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
L'avenir de la conversion texte-vidéo de création d'une vidéo
La recette d'image préalable et de mouvement sans étiquette de Make-A-Video a lancé toute la vague de conversion texte-vidéo. Ses descendants mettent l’accent sur des clips plus longs, de plus haute résolution et temporellement stables, avec un mouvement de caméra et un son contrôlables. Attendez-vous à ce que l’idée de base, la réutilisation de connaissances massives en matière d’images et l’apprentissage du mouvement à moindre coût, persiste même si les architectures évoluent vers une diffusion latente basée sur des transformateurs et des modèles unifiés qui acceptent également le conditionnement d’images ou de vidéos pour l’édition et la poursuite.
Mise en œuvre dans le monde réel
Animer une seule phrase descriptive dans un court clip en boucle pour une publication sur les réseaux sociaux
Donner vie à un concept statique comme « un ours en peluche peignant un portrait » sous la forme d'une illustration animée.
Interpolation entre deux images fixes fournies par l'utilisateur pour créer une vidéo de transition fluide
Générer des brouillons rapides de scènes imaginées pour le storyboard avant tout tournage
Risques et garde-fous
Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Feuille de route de mise en œuvre
Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
Testez avec des données qui correspondent aux conditions de production réelles.
Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Make-A-Video Text-to-Video quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Sora et synthèse texte-vidéo
Questions fréquemment posées
What is Make-A-Video Text-to-Video?
Make-A-Video est le système 2022 de Meta qui transforme une invite textuelle en un court clip vidéo sans jamais s'entraîner sur les paires texte-vidéo étiquetées. C'est important car cela a montré que les connaissances visuelles contenues dans les modèles texte-image pouvaient être « apprises » à se déplacer en utilisant uniquement une vidéo sans étiquette.
Quelle a été l'innovation centrale qui a permis à Make-A-Video d'éviter d'avoir besoin de paires texte-vidéo étiquetées ?
Make-A-Video dissocie le problème : un modèle texte-image apprend à quoi ressemblent les choses à partir d'images sous-titrées, tandis que des couches temporelles distinctes apprennent le mouvement à partir d'une vidéo brute et sans étiquette.
Comment Make-A-Video ajoute-t-il une capacité de mouvement à un modèle d'image ?
Il étend les convolutions spatiales 2D et l'attention avec de nouvelles couches temporelles qui apprennent comment le contenu évolue au fil du temps.
À quoi servent les étapes d’interpolation de trame et de super-résolution ?
Après un brouillon grossier à basse résolution et à faible fréquence d'images, l'interpolation ajoute des images et les modules de super-résolution augmentent la résolution.
Quelle était la limitation typique de la sortie de Make-A-Video ?
Les clips ne duraient que quelques secondes, avaient une résolution relativement faible et étaient sujets au scintillement et à la distorsion temporels.