À suivreGuide suivant
Sora et synthèse texte-vidéo
IA visuelle
GUIDE DE L'IA Visuelle
Créer une vidéo Text-to-Video
Make-A-Video est le système 2022 de Meta qui transforme une invite textuelle en un court clip vidéo sans jamais s'entraîner sur les paires texte-vidéo étiquetées.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Plongée profonde
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Mise en œuvre dans le monde réel
Animer une seule phrase descriptive dans un court clip en boucle pour une publication sur les réseaux sociaux
Donner vie à un concept statique comme « un ours en peluche peignant un portrait » sous la forme d'une illustration animée.
Interpolation entre deux images fixes fournies par l'utilisateur pour créer une vidéo de transition fluide
Générer des brouillons rapides de scènes imaginées pour le storyboard avant tout tournage
L'avenir de la conversion texte-vidéo de création d'une vidéo
La recette d'image préalable et de mouvement sans étiquette de Make-A-Video a lancé toute la vague de conversion texte-vidéo. Ses descendants mettent l’accent sur des clips plus longs, de plus haute résolution et temporellement stables, avec un mouvement de caméra et un son contrôlables. Attendez-vous à ce que l’idée de base, la réutilisation de connaissances massives en matière d’images et l’apprentissage du mouvement à moindre coût, persiste même si les architectures évoluent vers une diffusion latente basée sur des transformateurs et des modèles unifiés qui acceptent également le conditionnement d’images ou de vidéos pour l’édition et la poursuite.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
- Choix de construction. Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
- Équipe et flux de travail. Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
Attention à
- Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
- Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
- Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Prochaines étapes
- Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
- Testez avec des données qui correspondent aux conditions de production réelles.
- Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
- Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Make-A-Video Text-to-Video quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Make-A-Video Text-to-Video?
Make-A-Video est le système 2022 de Meta qui transforme une invite textuelle en un court clip vidéo sans jamais s'entraîner sur les paires texte-vidéo étiquetées. C'est important car cela a montré que les connaissances visuelles contenues dans les modèles texte-image pouvaient être « apprises » à se déplacer en utilisant uniquement une vidéo sans étiquette.
Quelle a été l'innovation centrale qui a permis à Make-A-Video d'éviter d'avoir besoin de paires texte-vidéo étiquetées ?
Make-A-Video dissocie le problème : un modèle texte-image apprend à quoi ressemblent les choses à partir d'images sous-titrées, tandis que des couches temporelles distinctes apprennent le mouvement à partir d'une vidéo brute et sans étiquette.
Comment Make-A-Video ajoute-t-il une capacité de mouvement à un modèle d'image ?
Il étend les convolutions spatiales 2D et l'attention avec de nouvelles couches temporelles qui apprennent comment le contenu évolue au fil du temps.
À quoi servent les étapes d’interpolation de trame et de super-résolution ?
Après un brouillon grossier à basse résolution et à faible fréquence d'images, l'interpolation ajoute des images et les modules de super-résolution augmentent la résolution.
Quelle était la limitation typique de la sortie de Make-A-Video ?
Les clips ne duraient que quelques secondes, avaient une résolution relativement faible et étaient sujets au scintillement et à la distorsion temporels.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet