A continuaciónSiguiente guía
Control de cámara en generación de video AI
IA visual
GUÍA visual de IA
Generación de imagen a video
La generación de imagen a vídeo convierte una única imagen fija en un breve clip de vídeo.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina3 minutos de lectura
Descripción general
El modelo utiliza la imagen como primer cuadro o como anclaje visual y a partir de ahí inventa movimientos plausibles. Es importante porque los creadores pueden arreglar exactamente cómo se ve una toma antes de animarla, lo que rara vez permite la conversión de texto a video.
Buceo profundo
La mayoría de los sistemas actuales de imagen a vídeo son modelos de difusión de vídeo latente. La imagen de entrada se comprime en estado latente mediante un codificador automático, y ese latente se entrega a la red de eliminación de ruido en cada paso, a menudo concatenándolo por canales con los latentes ruidosos de cada cuadro. Muchos modelos también inyectan una incrustación semántica de la imagen, como una incrustación de imagen CLIP, mediante atención cruzada. Las capas de atención temporal permiten que los fotogramas compartan información, por lo que el modelo elimina el ruido de todos los fotogramas juntos en un clip coherente que comienza a partir de la imagen dada. Stable Video Diffusion, lanzado por Stability AI en noviembre de 2023, es un ejemplo abierto bien documentado, con variantes de 14 y 25 fotogramas. Herramientas comerciales como Runway, Kling, Luma Dream Machine y Veo de Google ofrecen conversión de imagen a vídeo, y modelos abiertos como Wan y HunyuanVideo tienen versiones condicionadas por imagen. La fuerza del movimiento se controla de varias maneras. La difusión de vídeo estable toma un valor de "grupo de movimiento", que se aprende a partir de la cantidad de clips de entrenamiento de flujo óptico que contienen, además del acondicionamiento de la velocidad de fotogramas. También añade ruido a la imagen condicionante. Una mayor cantidad de este aumento de ruido permite que el vídeo se aleje más de la entrada, dando más movimiento pero menos fidelidad. Las herramientas comerciales suelen exponer un control deslizante de movimiento, ajustes preestablecidos de cámara o un mensaje de texto que describe el movimiento. Los artefactos típicos incluyen morphing (objetos que se funden entre sí), pérdida de identidad en los rostros después de unos segundos, extremidades adicionales o deformadas durante el movimiento rápido y natación de texturas, donde patrones finos parecen deslizarse a través de las superficies. Otros problemas comunes son una apariencia de paralaje plano "2.5D", salida casi congelada en configuraciones de movimiento bajo y errores físicos en líquidos y telas. Un error común es creer que el modelo comprende la escena 3D. Predice píxeles plausibles. Cuando un objeto en movimiento revela lo que había detrás, el modelo no tiene información sobre esa zona y la inventa.
Implementación en el mundo real
Un fotógrafo de producto anima una imagen fija de un frasco de perfume con niebla a la deriva y un lento empujón, produciendo un anuncio social de cinco segundos sin una filmación de video.
Un museo anima una pintura de paisaje escaneada de modo que las nubes flotan y el agua se ondula, y etiqueta el clip como generado por IA en la galería.
Un cineasta genera dos cuadros de guión gráfico con un modelo de imagen, luego usa un modo de video de primer y último cuadro para obtener una transición controlada entre ellos.
Un aficionado ejecuta Stable Video Diffusion localmente, aumenta la configuración de movimiento para convertir una foto de una playa tranquila en olas rompiendo y ve las caras en el fondo comenzar a deformarse.
El futuro de la generación de imagen a vídeo
La duración de los clips, la resolución y la coherencia del movimiento han mejorado constantemente, y el control del primer y último fotograma y los ajustes preestablecidos de la cámara se están convirtiendo en características estándar. El movimiento físicamente correcto, la identidad estable en clips largos y el manejo confiable de regiones ocluidas siguen siendo problemas difíciles sin una solución general. Espere ganancias graduales en lugar de un salto repentino. A medida que las imágenes fijas animadas se vuelven más difíciles de diferenciar de las imágenes reales, los enfoques de procedencia, como las credenciales de contenido y el etiquetado claro, serán más importantes para las noticias, los archivos y la educación.
Poniéndolo en práctica
Por qué es importante
- Velocidad y escala. La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
- Construir opciones. Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
- Equipo y flujo de trabajo. Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
cuidado con
- Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
- El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
- Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Próximos pasos
- Defina criterios de aceptación para costos de precisión, recuperación y error.
- Pruebe con datos que coincidan con las condiciones reales de producción.
- Agregue revisión humana para predicciones de baja confianza o de alto impacto.
- Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Image-to-Video Generation quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la generación de imagen a vídeo?
La generación de imagen a vídeo convierte una única imagen fija en un breve clip de vídeo. El modelo utiliza la imagen como primer fotograma o como anclaje visual y a partir de ahí inventa movimientos plausibles. Es importante porque los creadores pueden arreglar exactamente cómo se ve una toma antes de animarla, lo que rara vez permite la conversión de texto a video.
En muchos modelos de difusión de video latente, ¿cómo se le da la imagen de entrada al eliminador de ruido?
La imagen latente se apila con la latente ruidosa de cada fotograma en cada paso de eliminación de ruido, anclando el clip a la entrada.
¿Qué representa el valor del depósito de movimiento de Stable Video Diffusion?
Los clips de entrenamiento se agruparon según la cantidad de flujo óptico que contenían, por lo que el valor determina cuánto movimiento tiene la salida.
¿Qué sucede cuando aumentas el aumento de ruido en la imagen condicionada?
Más ruido en la condición afloja el ancla, por lo que el vídeo se aleja más de la entrada: más movimiento, más deriva.
¿Por qué el área que se ve detrás de un objeto en movimiento a menudo parece inventada?
Una sola imagen no contiene nada de lo que está oculto y el modelo no reconstruye la escena 3D, por lo que adivina.
¿Cuál es el principal inconveniente de extender un clip reintroduciendo su último fotograma como una nueva entrada?
Cada segmento hereda y aumenta los defectos del segmento anterior, por lo que la deriva se agrava en extensiones repetidas.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.