A continuaciónSiguiente guía
Por qué los generadores de imágenes de IA se equivocan
IA visual
GUÍA visual de IA
Los vídeos de IA interpretan mal la física porque los generadores aprenden patrones estadísticos de cómo los píxeles suelen cambiar con el tiempo, no las reglas de masa, fuerza y colisión.
Escuche esta guíaNarrado por IA · ~3 min
Imitan la apariencia del movimiento sin simular lo que lo causa. Por eso los objetos desaparecen, los líquidos actúan de forma extraña, las extremidades atraviesan las cosas y los clips se quedan cortos, y es importante para cualquiera que intente juzgar si las imágenes son reales o utilizar estos modelos para planificación y robótica.
Los generadores de vídeo están entrenados en enormes colecciones de metraje para predecir o eliminar fotogramas. El objetivo de la capacitación premia los resultados que se asemejan a un video real. No recompensa la producción que obedece a la conservación de la masa o del momento. La física común, como la caída de una pelota o una persona caminando, está bien representada en los datos y generalmente parece correcta. Eventos raros o complejos, como la rotura de un vidrio, una colisión específica o un líquido que se vierte en un recipiente de forma extraña, aparecen con menos frecuencia y son más difíciles de aprender. El propio material técnico de OpenAI sobre Sora señaló que no modelaba con precisión interacciones como la rotura de vidrio. La permanencia del objeto es un problema de memoria. Cuando algo está oculto, el modelo tiene que llevar su identidad a través de marcos donde es invisible. Los modelos atienden a una cantidad limitada de contexto, por lo que los objetos ocultos pueden regresar modificados o no aparecer en absoluto. La causa y el efecto también son débiles: un mordisco, un derrame o una abolladura deberían dejar un cambio duradero, pero el modelo puede tratarlo como un evento visual pasajero. La duración del clip está limitada principalmente por la computación. Un vídeo se representa como tokens de espacio-tiempo y el costo de la atención aumenta considerablemente a medida que crece el recuento de tokens, por lo que muchos productos generan segundos en lugar de minutos. Los videos más largos a menudo se crean extendiendo clips, lo que permite que los errores se agraven. Un error común es creer que estos modelos contienen un motor de física. No es así, aunque pueden captar algunas regularidades físicas implícitas. Los investigadores han creado puntos de referencia como Physics-IQ para probar esto y descubrieron que un resultado visualmente realista no significa comprensión física. La investigación de modelos mundiales intenta cerrar la brecha: la línea Genie de Google DeepMind genera entornos interactivos, V-JEPA de Meta aprende prediciendo en un espacio de representación abstracto en lugar de píxeles, y Cosmos de NVIDIA apunta a la IA física como la robótica.
A generated person bites a cookie, but afterward the cookie has no bite mark. OpenAI named this kind of failure among Sora's limitations when it previewed the model in 2024.
A dog walks behind a tree and comes out the other side with a different coat pattern, because the model did not keep a stable memory of the hidden object.
A runner's legs appear to swap sides mid-stride and the feet slide along the ground, which shows the model learned the look of running, not the contact forces involved.
A basketball passes through the rim, briefly vanishes, and reappears in a player's hands, a sequence that looks smooth frame to frame but makes no physical sense.
Physical plausibility has improved with scale and better data, and it is likely to keep improving for common scenes. Harder cases, such as long-horizon cause and effect, rare interactions and reliable object permanence across long occlusions, may need architectural changes like explicit memory, 3D structure or hybrid simulation rather than scale alone. World models aimed at robotics and interactive environments are an active research area, and benchmarks that separately test visual realism and physical correctness will help show real progress. It is not settled whether pure video prediction can learn robust physics, and researchers disagree about it.
Boletín gratuito
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Los vídeos de IA interpretan mal la física porque los generadores aprenden patrones estadísticos de cómo los píxeles suelen cambiar con el tiempo, no las reglas de masa, fuerza y colisión. Imitan la apariencia del movimiento sin simular lo que lo causa. Por eso los objetos desaparecen, los líquidos actúan de forma extraña, las extremidades atraviesan las cosas y los clips se quedan cortos, y es importante para cualquiera que intente juzgar si las imágenes son reales o utilizar estos modelos para planificación y robótica.
Models are trained to predict or denoise frames so the output looks like the training footage. Physical correctness is not measured directly.
Events that are uncommon in the data and physically complex give the model fewer examples to learn from, so its output is less reliable.
To keep a hidden object consistent, the model has to carry its identity through frames where it is invisible, and limited context makes that unreliable.
More frames mean more tokens, and attention cost grows fast with token count, so length is limited by compute.
Los generadores de vídeo no tienen un simulador de física explícito. Cualquier física que muestren está implícita en patrones aprendidos.
sigue aprendiendo
Más guías seleccionadas para este tema.
A continuaciónSiguiente guía
Por qué los generadores de imágenes de IA se equivocan
IA visual