HƯỚNG DẪN AI trực quan

Tạo hình ảnh thành video

Việc tạo hình ảnh thành video biến một hình ảnh tĩnh thành một đoạn video ngắn.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc chuyển hình ảnh thành video
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Mô hình sử dụng hình ảnh làm khung hình đầu tiên hoặc làm điểm neo trực quan và phát minh ra chuyển động hợp lý từ đó. Điều này quan trọng bởi vì người sáng tạo có thể sửa chính xác hình thức của một cảnh quay trước khi tạo hoạt ảnh cho nó, điều mà chỉ chuyển văn bản thành video hiếm khi cho phép.

Lặn sâu

Hầu hết các hệ thống chuyển hình ảnh sang video hiện nay đều là mô hình khuếch tán video tiềm ẩn. Hình ảnh đầu vào được nén thành tiềm ẩn bằng bộ mã hóa tự động và tiềm ẩn đó được cung cấp cho mạng khử nhiễu ở mỗi bước, thường bằng cách ghép nó theo kênh với các tiềm ẩn nhiễu của mỗi khung hình. Nhiều mô hình cũng đưa vào việc nhúng ngữ nghĩa của hình ảnh, chẳng hạn như nhúng hình ảnh CLIP, thông qua sự chú ý chéo. Các lớp chú ý tạm thời cho phép các khung hình chia sẻ thông tin, do đó mô hình sẽ khử nhiễu tất cả các khung hình lại với nhau thành một clip mạch lạc bắt đầu từ hình ảnh nhất định. Khuếch tán video ổn định, do Stability AI phát hành vào tháng 11 năm 2023, là một ví dụ mở được ghi chép rõ ràng, với các biến thể 14 khung hình và 25 khung hình. Các công cụ thương mại như Runway, Kling, Luma Dream Machine và Veo của Google cung cấp tính năng chuyển hình ảnh thành video và các mô hình mở như Wan và HunyuanVideo có phiên bản điều chỉnh hình ảnh. Cường độ chuyển động được kiểm soát theo nhiều cách. Khuếch tán video ổn định lấy giá trị "nhóm chuyển động", học được từ lượng clip đào tạo luồng quang có trong đó, cộng với điều hòa tốc độ khung hình. Nó cũng thêm nhiễu vào hình ảnh điều hòa. Việc tăng cường tiếng ồn nhiều hơn này cho phép video rời xa đầu vào hơn, tạo ra nhiều chuyển động hơn nhưng độ trung thực kém hơn. Các công cụ thương mại thường hiển thị thanh trượt chuyển động, cài đặt trước của máy ảnh hoặc lời nhắc văn bản mô tả chuyển động. Các tạo tác điển hình bao gồm biến hình (các vật thể tan vào nhau), nhận dạng trên khuôn mặt sau vài giây, các chi thừa hoặc cong vênh khi chuyển động nhanh và kết cấu bơi lội, trong đó các hoa văn đẹp dường như trượt trên các bề mặt. Các vấn đề phổ biến khác là giao diện thị sai "2,5D" phẳng, đầu ra gần như bị đóng băng ở cài đặt chuyển động thấp và các lỗi vật lý trong chất lỏng và vải. Một quan niệm sai lầm phổ biến là mô hình hiểu được cảnh 3D. Nó dự đoán các pixel hợp lý. Khi một vật thể chuyển động tiết lộ những gì đằng sau nó, mô hình không có thông tin về khu vực đó và phát minh ra nó.

Triển khai trong thế giới thực

Một nhiếp ảnh gia sản phẩm tạo hoạt ảnh tĩnh của một chai nước hoa có sương mù trôi và lực đẩy chậm, tạo ra một quảng cáo trên mạng xã hội dài 5 giây mà không cần quay video.

Một bảo tàng tạo hoạt ảnh cho một bức tranh phong cảnh được quét để mây trôi và nước gợn sóng, đồng thời gắn nhãn clip là do AI tạo ra trong thư viện.

Nhà làm phim tạo ra hai khung hình trong bảng phân cảnh bằng một mô hình hình ảnh, sau đó sử dụng chế độ video khung hình đầu tiên và khung hình cuối cùng để chuyển tiếp có kiểm soát giữa chúng.

Một người có sở thích chạy tính năng Khuếch tán video ổn định cục bộ, tăng cài đặt chuyển động để biến bức ảnh bãi biển yên tĩnh thành sóng vỗ và thấy các khuôn mặt ở hậu cảnh bắt đầu cong vênh.

Tương lai của việc chuyển hình ảnh thành video

Độ dài clip, độ phân giải và tính kết hợp chuyển động đã được cải thiện đều đặn, đồng thời khả năng điều khiển khung hình đầu tiên và khung hình cuối cùng cũng như cài đặt trước của máy ảnh đang trở thành các tính năng tiêu chuẩn. Chuyển động chính xác về mặt vật lý, nhận dạng ổn định trên các đoạn phim dài và xử lý đáng tin cậy các vùng bị che khuất vẫn là những vấn đề khó khăn khi chưa có giải pháp chung. Mong đợi mức tăng dần dần thay vì một bước nhảy đột ngột. Khi ảnh tĩnh hoạt hình ngày càng khó phân biệt với cảnh quay thực, các phương pháp tiếp cận xuất xứ như thông tin xác thực nội dung và ghi nhãn rõ ràng sẽ quan trọng hơn đối với tin tức, kho lưu trữ và giáo dục.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Image-to-Video Generation quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Tạo hình ảnh thành video là gì?

Việc tạo hình ảnh thành video biến một hình ảnh tĩnh thành một đoạn video ngắn. Mô hình sử dụng hình ảnh làm khung hình đầu tiên hoặc làm điểm neo trực quan và phát minh ra chuyển động hợp lý từ đó. Điều này quan trọng bởi vì người sáng tạo có thể sửa chính xác hình thức của một cảnh quay trước khi tạo hoạt ảnh cho nó, điều mà chỉ chuyển văn bản thành video hiếm khi cho phép.

Trong nhiều mô hình khuếch tán video tiềm ẩn, hình ảnh đầu vào được cung cấp cho bộ khử nhiễu như thế nào?

Hình ảnh tiềm ẩn được xếp chồng lên nhau với độ nhiễu tiềm ẩn của mỗi khung hình ở mỗi bước khử nhiễu, cố định clip vào đầu vào.

Giá trị nhóm chuyển động của Khuếch tán video ổn định thể hiện điều gì?

Các clip đào tạo được nhóm theo lượng luồng quang mà chúng chứa, do đó giá trị sẽ quyết định mức độ chuyển động của đầu ra.

Điều gì xảy ra khi bạn tăng mức tăng nhiễu trên ảnh điều hòa?

Nhiều tiếng ồn hơn trong điều kiện sẽ làm lỏng điểm cố định, do đó video sẽ lệch xa đầu vào: nhiều chuyển động hơn, trôi nhiều hơn.

Tại sao khu vực lộ ra đằng sau một vật thể chuyển động thường trông như bị phát minh?

Một hình ảnh duy nhất không chứa gì về những gì bị ẩn và mô hình không tái tạo lại cảnh 3D, do đó nó đoán.

Hạn chế chính của việc mở rộng một clip bằng cách đưa khung hình cuối cùng của nó trở lại làm đầu vào mới là gì?

Mỗi phân đoạn kế thừa và bổ sung thêm những khuyết điểm của phân đoạn trước đó, do đó, dẫn đến các phần mở rộng lặp đi lặp lại.