HƯỚNG DẪN AI trực quan

Điều khiển camera trong thế hệ video AI

Điều khiển camera trong quá trình tạo video AI bao gồm các phương pháp cho biết mô hình video cách camera ảo sẽ di chuyển, chẳng hạn như xoay, nghiêng, thu phóng, dolly, quỹ đạo hoặc đường dẫn 3D đầy đủ, tách biệt với những gì xảy ra trong cảnh.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của điều khiển máy ảnh trong thế hệ video AI
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Điều này quan trọng vì chuyển động của camera định hình cách đọc câu chuyện trên màn hình. Các chuyển động chính xác, có thể lặp lại là yếu tố giúp cảnh quay được tạo ra có thể sử dụng được trong quá trình chỉnh sửa thực tế.

Lặn sâu

Điều khiển máy ảnh có ba mức độ chính xác. Điều lỏng lẻo nhất là văn bản: các thuật ngữ điện ảnh như "xoay chậm sang trái", "hướng lên" hoặc "quỹ đạo xung quanh chủ thể" trong lời nhắc. Tiếp theo là các điều khiển cài sẵn, một số công cụ thương mại, bao gồm Runway và Kling, cung cấp dưới dạng thanh trượt hoặc nút cho các bước di chuyển thông thường. Chính xác nhất là quỹ đạo rõ ràng từ các hệ thống nghiên cứu. MotionCtrl (2023) bổ sung các mô-đun riêng biệt cho chuyển động của camera và chuyển động của đối tượng. CameraCtrl (2024) mã hóa tư thế máy ảnh của từng khung hình dưới dạng nhúng Plücker và đưa nó thông qua một bộ chuyển đổi có thể đào tạo thành mô hình video được đào tạo trước. MotionLoRA của AnimateDiff là những bộ điều hợp nhỏ được huấn luyện cho các chuyển động cụ thể như thu phóng và xoay. Một số điều làm cho việc kiểm soát chính xác trở nên khó khăn. Hầu hết các video đào tạo không có nhãn camera và chú thích hiếm khi mô tả chính xác chuyển động của camera. Các bộ dữ liệu có tư thế máy ảnh ước tính, chẳng hạn như RealEstate10K, được xây dựng từ video bất động sản với các tư thế được phục hồi bằng phương pháp kiểu cấu trúc từ chuyển động, có phạm vi hẹp và chủ yếu hiển thị các cảnh tĩnh. Người mẫu cũng kết hợp chuyển động của máy ảnh và chuyển động của đối tượng: thay vào đó, hãy yêu cầu một cái lia và đối tượng có thể đi bộ. Thuật ngữ là một cái bẫy khác. Thu phóng thay đổi tiêu cự, giúp phóng to hình ảnh mà không có thị sai. Một dolly di chuyển máy ảnh một cách vật lý, do đó các vật thể ở gần sẽ dịch chuyển so với các vật thể ở xa. Người dùng và người mẫu thường nhầm lẫn giữa hai điều này. Video một mắt cũng có sự mơ hồ về tỷ lệ, nghĩa là không có tỷ lệ tuyệt đối, vì vậy yêu cầu như "di chuyển hai mét" không có ý nghĩa cố định trừ khi quỹ đạo được chuẩn hóa. Các quỹ đạo đòi hỏi phải phát minh ra các mặt không nhìn thấy được của vật thể và giữ cho chúng nhất quán, đồng thời các quỹ đạo dài có xu hướng trôi dạt. Một quan niệm sai lầm phổ biến là mô hình di chuyển camera ảo qua cảnh 3D. Nó tạo ra các pixel khớp với các mẫu mà nó đã học và chuyển động của camera là một trong những mẫu đã học đó, không phải là một thao tác 3D rõ ràng.

Triển khai trong thế giới thực

Một nhà tiếp thị bất động sản nhắc nhở 'đi chậm về phía trước qua ô cửa, camera ổn định' để hiển thị nội thất và tái tạo nhiều lần vì thay vào đó, mô hình đôi khi phóng to.

Nhà làm phim sử dụng bảng cài sẵn máy ảnh của công cụ video thay vì các từ nhắc nhở để có được cùng một chế độ xoay từ trái sang phải trên ba cảnh quay sẽ được cắt cùng nhau.

Một nhà nghiên cứu trích xuất quỹ đạo của máy ảnh từ một clip máy bay không người lái thực sự và đưa nó vào mô hình kiểu CameraCtrl để tái tạo cùng một quỹ đạo xung quanh một lâu đài được tạo ra.

Người dùng AnimateDiff tải LoRA chuyển động phóng to để thêm phần đẩy vào hoạt ảnh cách điệu mà không thay đổi lời nhắc ký tự.

Tương lai của điều khiển máy ảnh trong thế hệ video AI

Điều khiển máy ảnh đang chuyển từ tài liệu nghiên cứu sang các công cụ phổ biến và các mô hình điều chỉnh tư thế đang được cải thiện theo các đường dẫn rõ ràng. Các liên kết chặt chẽ hơn với quy trình làm việc của công cụ trò chơi và hình ảnh hóa 3D là một hướng đi hợp lý, với các cảnh thô hoặc đường dẫn camera hướng dẫn việc tạo. Các quỹ đạo dài đáng tin cậy, việc tách biệt chuyển động của máy ảnh và chủ thể trong các cảnh bận rộn và thị sai chính xác về mặt vật lý vẫn còn khó khăn. Dữ liệu đào tạo được gắn nhãn tư thế khan hiếm vẫn là một hạn chế thực sự, vì vậy hãy mong đợi mức tăng dần dần thay vì độ chính xác của máy ảnh ở cấp độ phim.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Camera Control in AI Video Generation quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Điều khiển máy ảnh trong thế hệ video AI là gì?

Điều khiển camera trong quá trình tạo video AI bao gồm các phương pháp cho biết mô hình video cách camera ảo sẽ di chuyển, chẳng hạn như xoay, nghiêng, thu phóng, dolly, quỹ đạo hoặc đường dẫn 3D đầy đủ, tách biệt với những gì xảy ra trong cảnh. Điều này quan trọng vì chuyển động của camera định hình cách đọc câu chuyện trên màn hình. Các chuyển động chính xác, có thể lặp lại là yếu tố giúp cảnh quay được tạo ra có thể sử dụng được trong quá trình chỉnh sửa thực tế.

Điều gì phân biệt trực quan một dolly với một zoom?

Di chuyển máy ảnh sẽ dịch chuyển các vật thể ở gần so với các vật thể ở xa. Việc thay đổi tiêu cự chỉ phóng to hình ảnh.

Việc nhúng Plücker mã hóa cho mỗi pixel là gì?

Nó biến phần bên trong và bên ngoài của máy ảnh thành biểu diễn tia trên mỗi pixel mà các lớp mạng có thể sử dụng trực tiếp.

Tại sao khó học được cách điều khiển máy ảnh chính xác từ các video đào tạo thông thường?

Nếu không có nhãn đáng tin cậy, mô hình phải suy ra chuyển động của camera từ các mô tả văn bản yếu và nhiễu.

Hạn chế của các bộ dữ liệu có chú thích tư thế như RealEstate10K là gì?

Các hướng dẫn về bất động sản mang lại những tư thế chụp ảnh đẹp nhưng chúng hiếm khi bao gồm các đối tượng chuyển động hoặc các bối cảnh đa dạng.

Làm cách nào bạn có thể đo lường xem video được tạo có đi theo đường dẫn camera được yêu cầu hay không?

Việc ước tính camera từ các khung hình được tạo cho phép bạn so sánh nó về mặt số lượng với quỹ đạo được yêu cầu.