AI 영상의 시간적 일관성과 깜박임

깜박임은 사람들이 이미지 생성기로 비디오를 만들면서 처음으로 널리 알려진 문제가 되었습니다. 각 프레임을 개별적으로 노이즈 제거하면 모든 프레임은 자체 무작위 노이즈에서 시작하여 질감, 머리카락 가닥 또는 셔츠의 패턴에 대한 자체적인 작은 선택을 합니다. 각 프레임은 단독으로는 괜찮아 보이지만 순서대로 재생하면 독립적인 선택이 반짝반짝 빛납니다. Stable Video Diffusion(2023), OpenAI의 Sora(2024년 미리 보기), Runway의 Gen-3 및 Google의 Veo 모델을 포함한 최신 비디오 생성기는 압축된 잠재 공간에서 클립의 프레임을 함께 생성하고 시간에 따라 주의를 사용하므로 각 프레임은 다른 프레임에 의해 형성됩니다. 이것이 최근 클립이 초기 실험보다 훨씬 안정적인 주된 이유입니다. 여러 가지 이유로 드리프트가 여전히 발생합니다. 머리카락, 나뭇잎, 물, 화면 텍스트와 같은 미세하고 빈도가 높은 디테일은 가장 어렵습니다. 작은 디테일의 작은 오류가 반짝임으로 나타나기 때문입니다. 무언가가 다른 사물 뒤에 숨겨져 있을 때, 모델은 그 틈을 통해 그 모습을 담아야 하고, 약간 다른 모습으로 돌아올 수도 있습니다. 긴 비디오는 짧은 클립을 확장하거나 연결하여 제작되는 경우가 많으며, 모델은 최근 프레임의 제한된 창만 볼 수 있기 때문에 시간이 지남에 따라 정체성이 바뀔 수 있습니다. 비디오 자동 인코더의 압축은 청크가 결합되는 곳에 아티팩트를 추가할 수도 있습니다. 몇 가지 일반적인 오해가 있습니다. 깜박임은 주로 프레임 속도 문제가 아니며 해상도를 높여도 자체적으로 해결되지는 않습니다. 후처리를 통해 밝기 깜박임을 부드럽게 할 수 있지만, 일단 변경된 캐릭터의 얼굴을 복원할 수는 없습니다. 프레임 보간을 사용하면 모션이 더 부드럽게 보일 수 있지만 새 프레임에 걸쳐 드리프트가 번질 수도 있습니다. 실제 수정은 생성 중에 발생합니다. 즉, 시간적 주의, 참조 이미지 조절, 이전 프레임에서 이후 프레임으로 정보 전파 등이 있습니다.