Transformación de estilo de video a video

La mayoría de los canales de video a video tienen dos pasos. Primero, extraen la estructura del vídeo original: mapas de profundidad de modelos como MiDaS o Depth Anything, mapas de bordes o líneas, esqueletos de pose humana de herramientas como OpenPose y, a veces, flujo óptico, que registra cómo se mueven los píxeles entre fotogramas. Luego generan nuevos fotogramas condicionados a esa estructura más una indicación de estilo o una imagen de referencia. ControlNet, introducido en 2023, hizo que esto fuera práctico para Stable Diffusion al permitir que se generara un mapa de profundidad o un esqueleto de pose sin volver a entrenar el modelo base. La configuración clave suele ser la transformación o la fuerza de eliminación de ruido. El fotograma de origen se modifica parcialmente y luego se elimina el ruido hacia el nuevo estilo. La resistencia baja se mantiene cerca del original pero cambia poco. La alta intensidad proporciona un estilo más atrevido, pero la salida comienza a desviarse de la fuente y a parpadear entre fotogramas. El acondicionamiento de la profundidad mantiene la distribución de la habitación y la ubicación de los objetos. El acondicionamiento de la postura mantiene el movimiento humano. Los mapas de bordes mantienen contornos finos. Hay tres enfoques generales. La difusión por fotograma con ControlNet se basa en semillas compartidas y atención entre fotogramas para limitar el parpadeo. Los métodos de fotogramas clave modifican cuidadosamente el estilo de algunos fotogramas y propagan ese aspecto al resto, como lo hace EbSynth con la propagación basada en parches. Los métodos de investigación como Rerender-A-Video y TokenFlow avanzan en esa dirección. Los modelos de video nativos que aceptan un video de entrada, que el Gen-1 de Runway ofreció en 2023, manejan el tiempo dentro del modelo. Un error común es pensar que el rediseño anonimiza a las personas o convierte el metraje en una obra nueva y de libre uso. No hace ninguna de las dos cosas automáticamente. La forma de andar, la forma del cuerpo, la voz y el entorno a menudo siguen siendo identificables, los derechos de imagen y publicidad aún pueden aplicarse, y el metraje subyacente conserva sus derechos de autor. El uso responsable significa filmar su propio material u obtener permiso y revelar que el metraje fue transformado.