AI 비디오가 물리학을 잘못하는 이유

비디오 생성기는 프레임을 예측하거나 노이즈를 제거하기 위해 방대한 영상 컬렉션에 대해 교육을 받았습니다. 훈련 목표는 실제 비디오와 유사한 출력을 보상합니다. 질량이나 운동량 보존을 따르는 출력에는 보상하지 않습니다. 공이 떨어지거나 사람이 걷는 것과 같은 일반적인 물리학은 데이터에 잘 표현되어 있으며 일반적으로 올바르게 보입니다. 유리 깨짐, 특정한 충돌, 이상한 모양의 용기에 액체가 쏟아지는 등 드물거나 복잡한 사건은 덜 자주 나타나며 학습하기가 더 어렵습니다. Sora에 대한 OpenAI의 자체 기술 자료에서는 유리 깨짐과 같은 상호 작용을 정확하게 모델링하지 못했다고 지적했습니다. 객체 영속성은 기억 문제입니다. 무언가가 숨겨져 있으면 모델은 그것이 보이지 않는 프레임을 통해 그 아이덴티티를 전달해야 합니다. 모델은 제한된 양의 컨텍스트에 참석하므로 숨겨진 개체가 변경된 상태로 다시 나타날 수도 있고 전혀 나타나지 않을 수도 있습니다. 원인과 결과도 약합니다. 물기, 쏟음 또는 찌그러짐은 지속적인 변화를 남겨야 하지만 모델은 이를 일시적인 시각적 이벤트로 처리할 수 있습니다. 클립 길이는 주로 계산에 따라 제한됩니다. 영상은 시공간 토큰으로 표현되며, 토큰 수가 증가함에 따라 주의 비용이 가파르게 상승하므로 많은 제품이 몇 분이 아닌 몇 초를 생성합니다. 긴 비디오는 클립을 확장하여 제작되는 경우가 많으며 이로 인해 오류가 가중됩니다. 일반적인 오해는 이러한 모델에 물리 엔진이 포함되어 있다는 것입니다. 그들은 암묵적인 물리적 규칙성을 발견할 수 있지만 그렇지 않습니다. 연구원들은 이를 테스트하기 위해 Physics-IQ와 같은 벤치마크를 구축했으며 시각적으로 사실적인 출력이 물리적 이해를 의미하지 않는다는 것을 발견했습니다. 세계 모델 연구는 격차를 줄이려고 노력합니다. Google DeepMind의 Genie 라인은 대화형 환경을 생성하고, Meta의 V-JEPA는 픽셀 대신 추상적 표현 공간에서 예측을 통해 학습하며, NVIDIA의 Cosmos는 로봇 공학과 같은 물리적 AI를 대상으로 합니다.