Управление камерой при создании видео с помощью искусственного интеллекта

Управление камерой осуществляется на трех уровнях точности. Самым свободным является текст: такие кинематографические термины, как «медленное панорамирование влево», «поднять журавль» или «вращаться вокруг объекта» в подсказке. Следующее — предустановленные элементы управления, которые некоторые коммерческие инструменты, включая Runway и Kling, предлагают в виде ползунков или кнопок для общих действий. Наиболее точными являются явные траектории из исследовательских систем. MotionCtrl (2023) добавляет отдельные модули для движения камеры и объекта. CameraCtrl (2024) кодирует положение камеры каждого кадра как встраивание Плюкера и передает его через обучаемый адаптер в предварительно обученную видеомодель. MotionLoRA от AnimateDiff — это небольшие адаптеры, предназначенные для определенных движений, таких как масштабирование и панорамирование. Некоторые вещи затрудняют точный контроль. На большинстве обучающих видеороликов нет маркировки камеры, а подписи редко точно описывают движение камеры. Наборы данных с предполагаемыми позами камер, такие как RealEstate10K, построенные на основе видеороликов с недвижимостью, в которых позы восстановлены методами стиля «структура по движению», являются узкими по предметной области и в основном показывают статические сцены. Модели также путают движение камеры и движение объекта: попросите панораму, и вместо этого объект может идти. Терминология – еще одна ловушка. Увеличение меняет фокусное расстояние, что увеличивает изображение без параллакса. Тележка физически перемещает камеру, поэтому ближайшие объекты смещаются относительно дальних. Пользователи и модели часто путают эти два понятия. Монокулярное видео также имеет неоднозначность масштаба, что означает отсутствие абсолютного масштаба, поэтому запрос типа «переместиться на два метра» не имеет фиксированного значения, если траектории не нормализованы. Орбиты требуют изобретения невидимых сторон объектов и поддержания их согласованности, а длинные орбиты имеют тенденцию смещаться. Распространенным заблуждением является то, что модель перемещает виртуальную камеру по 3D-сцене. Он генерирует пиксели, соответствующие изученным шаблонам, и движение камеры — это один из этих изученных шаблонов, а не явная трехмерная операция.