Modelos de difusión de vídeo
Los modelos de difusión de vídeo generan imágenes en movimiento convirtiendo gradualmente ruido aleatorio en fotogramas coherentes, extendiendo la idea de difusión de las imágenes al tiempo.
Descripción general
They are the engine behind today's most realistic AI video.
Buceo profundo
Los modelos de difusión aprenden a revertir un proceso de ruido: durante el entrenamiento, a los datos limpios se les agrega ruido progresivamente y la red aprende a predecir y eliminar ese ruido paso a paso. La difusión de vídeo aplica esto a secuencias de fotogramas, con la crucial adición del modelado temporal para que el movimiento se mantenga fluido y los objetos permanezcan consistentes a lo largo del tiempo. Para mantener la computación manejable, la mayoría de los sistemas son modelos de difusión latente, que operan en un espacio latente comprimido en lugar de en píxeles sin procesar. Las arquitecturas van desde U-Nets 3D con atención espacial y temporal hasta transformadores de difusión (DiT) que tratan el vídeo como tokens de espacio-tiempo. Esta familia impulsa Sora, Stable Video Diffusion, Runway Gen-3, Google Veo y Pika, y admite conversión de texto a video, imagen a video y edición de video.
Información técnica
El truco clave es agregar capas temporales, como atención temporal o convoluciones 3D, de modo que los fotogramas se eliminen de ruido de forma conjunta y no de forma independiente, lo que evita el parpadeo y el movimiento incoherente. La generación utiliza una guía sin clasificador para seguir con precisión las indicaciones del texto, y un codificador/decodificador VAE aprendido se mueve entre los píxeles y el espacio latente. El muestreo de muchos pasos de eliminación de ruido es lento, por lo que se utilizan destilación y solucionadores más rápidos para reducir la cantidad de pasos necesarios.
Impacto Estratégico
Speed and scale
La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
Construir opciones
Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
Equipo y flujo de trabajo
Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
El futuro de los modelos de difusión de vídeo
La investigación avanza hacia una generación más larga, de mayor resolución y en tiempo real con audio sincronizado y un realismo físico mucho mejor. Los transformadores de difusión que escalan limpiamente con datos y computación se están convirtiendo en el diseño dominante, y los modelos destilados de pocos pasos están haciendo que la generación sea dramáticamente más rápida. Espere un control más estricto sobre la cámara, los personajes y las ediciones, además de enfoques híbridos que combinan la difusión con otros métodos generativos. A medida que aumenta la calidad, serán esenciales estándares sólidos de marcas de agua y procedencia del contenido para gestionar el uso indebido.
Implementación en el mundo real
Impulsando herramientas de conversión de texto a video como Stable Video Diffusion, Runway Gen-3 y Pika para creadores
Animación de imagen a vídeo que da vida a una sola foto con un movimiento realista
Edición de vídeo, pintura y transferencia de estilos asistida por IA dentro de flujos de trabajo de posproducción profesionales
Generación de metraje de entrenamiento sintético y simulaciones para robótica y investigación de vehículos autónomos.
Riesgos y barandillas
Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Hoja de ruta de implementación
Defina criterios de aceptación para costos de precisión, recuperación y error.
Pruebe con datos que coincidan con las condiciones reales de producción.
Agregue revisión humana para predicciones de baja confianza o de alto impacto.
Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Video Diffusion Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Modelo de difusión GLIDE
Preguntas frecuentes
What is Video Diffusion Models?
Los modelos de difusión de vídeo generan imágenes en movimiento convirtiendo gradualmente ruido aleatorio en fotogramas coherentes, extendiendo la idea de difusión de las imágenes al tiempo. Son el motor detrás del vídeo de IA más realista de la actualidad.
¿Cuál es la idea fundamental detrás de un modelo de difusión?
Los modelos de difusión están entrenados para eliminar el ruido que se agregó progresivamente a los datos y luego generarlos eliminando el ruido a partir de ruido puro.
¿Qué aportan los modelos de difusión de vídeo en comparación con los modelos de difusión de imágenes?
Más allá de generar cada cuadro, la difusión de video debe coordinar los cuadros a lo largo del tiempo, lo que requiere capas temporales para mantener el movimiento coherente.
¿Por qué la mayoría de los modelos de difusión de vídeo operan en un espacio "latente"?
El vídeo sin editar es enorme; codificarlo en un espacio latente más pequeño a través de un VAE hace que la eliminación de ruido sea mucho más eficiente.
¿Cuál es el papel de la atención temporal o convoluciones 3D en estos modelos?
Las capas temporales conectan información entre fotogramas, evitando el parpadeo y produciendo un movimiento coherente en lugar de fotogramas independientes y nerviosos.
¿Qué técnica ayuda a un modelo de difusión de vídeo a seguir con firmeza una indicación de texto?
La guía sin clasificador dirige el proceso de eliminación de ruido con más fuerza hacia el mensaje de condicionamiento, lo que mejora la adherencia al mensaje.