Runway
Runway est une société de recherche appliquée en IA qui crée des outils vidéo génératifs qui transforment le texte et les images en séquences animées.
Aperçu
Its Gen-series models helped kick off the modern AI video era and are increasingly used in real film, advertising, and music-video production.
Plongée profonde
Fondée en 2018 par Cristobal Valenzuela, Alejandro Matamala et Anastasis Germanidis, Runway a commencé comme une plate-forme basée sur un navigateur mettant des outils d'apprentissage automatique entre les mains des créateurs. Il a co-écrit la recherche originale sur la diffusion stable avant de se tourner vers la vidéo. Ses modèles Gen-1 (vidéo vers vidéo) et Gen-2 (texte vers vidéo) en 2023, suivis par les systèmes Gen-3 Alpha et Gen-4 considérablement plus nets, permettent aux utilisateurs de générer de courts clips, d'étendre les plans et de conserver des personnages cohérents d'une scène à l'autre. Runway offre également des fonctionnalités d'édition pratiques telles que Motion Brush, l'inpainting et la suppression de l'écran vert. Il a acquis une réputation proche des Oscars en réalisant des effets visuels, notamment sur le film «Everything Everywhere All at Once», et organise le AI Film Festival pour mettre en lumière ce média.
Aperçu technique
Les modèles vidéo de Runway sont basés sur la diffusion mais étendus dans le temps : ils doivent générer des images non seulement réalistes individuellement, mais également cohérentes dans le temps, afin que les objets se déplacent en douceur plutôt que de scintiller. Les systèmes apprennent des modèles spatio-temporels, en utilisant souvent l'attention à la fois dans l'espace et dans les images, et peuvent être conditionnés par des invites textuelles, une image de départ ou une vidéo de conduite. Maintenir un personnage ou un objet cohérent dans de nombreuses images est l'un des problèmes les plus difficiles auxquels ils s'attaquent.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir de la piste
Runway s'oriente vers des clips plus longs, plus contrôlables et de plus haute résolution et une intégration plus étroite dans les pipelines de montage professionnels, traitant ses modèles comme des « modèles mondiaux généraux » qui simulent des scènes physiques. Attendez-vous à des contrôles de réalisation plus fins (déplacements de caméra, éclairage, continuité des personnages), à une génération plus rapide et à une adoption plus approfondie en studio, ainsi qu'à des débats sur le travail, les droits à l'image et l'authenticité. À mesure que la qualité augmente, la frontière entre les images capturées et synthétisées continuera à s'estomper, soulevant de nouvelles questions pour le journalisme et la confiance.
Mise en œuvre dans le monde réel
Un artiste musical génère des séquences surréalistes et oniriques pour un clip vidéo à l'aide d'invites de synthèse texte-vidéo Gen-3 au lieu d'un tournage VFX coûteux.
Une équipe VFX utilise les outils d'écran vert et d'inpainting de Runway pour supprimer un micro à perche et rotoscoper un sujet en quelques minutes plutôt qu'en quelques heures.
Une agence de publicité itère rapidement sur plusieurs concepts vidéo pour un pitch, générant des ébauches de plans avant tout tournage en direct.
Un cinéaste utilise Motion Brush pour animer des éléments spécifiques d’une image fixe, tels que des nuages à la dérive ou de l’eau qui coule, pour un plan d’établissement.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Runway quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
OpenAI
Questions fréquemment posées
What is Runway?
Runway est une société de recherche appliquée en IA qui crée des outils vidéo génératifs qui transforment le texte et les images en séquences animées. Ses modèles de la série Gen ont contribué au lancement de l'ère moderne de la vidéo IA et sont de plus en plus utilisés dans la production de films réels, de publicité et de vidéoclips.
Pour quelle catégorie d’outils d’IA Runway est-il principalement connu ?
Runway crée des outils vidéo génératifs, notamment ses modèles texte-vidéo et vidéo-vidéo de la série Gen.
Quel modèle Runway a introduit pour la première fois la génération texte-vidéo dans sa série Gen ?
La génération 1 gérait la vidéo vers la vidéo, tandis que la génération 2 a introduit la génération de vidéo directement à partir d'invites textuelles en 2023.
Quel est le principal défi technique propre à la vidéo IA par rapport aux images IA ?
Les modèles vidéo doivent rendre les images cohérentes dans le temps afin que les objets se déplacent de manière fluide au lieu de scintiller, un problème que les images n'ont pas.
Quel film acclamé est associé aux outils de Runway utilisés dans ses effets visuels ?
Les outils de Runway ont été utilisés dans le travail VFX sur « Everything Everywhere All at Once », renforçant ainsi sa réputation dans le cinéma.
Que permet aux utilisateurs de faire la fonctionnalité « Motion Brush » de Runway ?
Motion Brush permet aux créateurs de peindre du mouvement sur des parties choisies d'une image, comme faire dériver des nuages ou faire couler de l'eau.