Tiếp theoHướng dẫn tiếp theo
Điều khiển camera trong thế hệ video AI
AI trực quan
HƯỚNG DẪN AI trực quan
Việc tạo hình ảnh thành video biến một hình ảnh tĩnh thành một đoạn video ngắn.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Mô hình sử dụng hình ảnh làm khung hình đầu tiên hoặc làm điểm neo trực quan và phát minh ra chuyển động hợp lý từ đó. Điều này quan trọng bởi vì người sáng tạo có thể sửa chính xác hình thức của một cảnh quay trước khi tạo hoạt ảnh cho nó, điều mà chỉ chuyển văn bản thành video hiếm khi cho phép.
Hầu hết các hệ thống chuyển hình ảnh sang video hiện nay đều là mô hình khuếch tán video tiềm ẩn. Hình ảnh đầu vào được nén thành tiềm ẩn bằng bộ mã hóa tự động và tiềm ẩn đó được cung cấp cho mạng khử nhiễu ở mỗi bước, thường bằng cách ghép nó theo kênh với các tiềm ẩn nhiễu của mỗi khung hình. Nhiều mô hình cũng đưa vào việc nhúng ngữ nghĩa của hình ảnh, chẳng hạn như nhúng hình ảnh CLIP, thông qua sự chú ý chéo. Các lớp chú ý tạm thời cho phép các khung hình chia sẻ thông tin, do đó mô hình sẽ khử nhiễu tất cả các khung hình lại với nhau thành một clip mạch lạc bắt đầu từ hình ảnh nhất định. Khuếch tán video ổn định, do Stability AI phát hành vào tháng 11 năm 2023, là một ví dụ mở được ghi chép rõ ràng, với các biến thể 14 khung hình và 25 khung hình. Các công cụ thương mại như Runway, Kling, Luma Dream Machine và Veo của Google cung cấp tính năng chuyển hình ảnh thành video và các mô hình mở như Wan và HunyuanVideo có phiên bản điều chỉnh hình ảnh. Cường độ chuyển động được kiểm soát theo nhiều cách. Khuếch tán video ổn định lấy giá trị "nhóm chuyển động", học được từ lượng clip đào tạo luồng quang có trong đó, cộng với điều hòa tốc độ khung hình. Nó cũng thêm nhiễu vào hình ảnh điều hòa. Việc tăng cường tiếng ồn nhiều hơn này cho phép video rời xa đầu vào hơn, tạo ra nhiều chuyển động hơn nhưng độ trung thực kém hơn. Các công cụ thương mại thường hiển thị thanh trượt chuyển động, cài đặt trước của máy ảnh hoặc lời nhắc văn bản mô tả chuyển động. Các tạo tác điển hình bao gồm biến hình (các vật thể tan vào nhau), nhận dạng trên khuôn mặt sau vài giây, các chi thừa hoặc cong vênh khi chuyển động nhanh và kết cấu bơi lội, trong đó các hoa văn đẹp dường như trượt trên các bề mặt. Các vấn đề phổ biến khác là giao diện thị sai "2,5D" phẳng, đầu ra gần như bị đóng băng ở cài đặt chuyển động thấp và các lỗi vật lý trong chất lỏng và vải. Một quan niệm sai lầm phổ biến là mô hình hiểu được cảnh 3D. Nó dự đoán các pixel hợp lý. Khi một vật thể chuyển động tiết lộ những gì đằng sau nó, mô hình không có thông tin về khu vực đó và phát minh ra nó.
Một nhiếp ảnh gia sản phẩm tạo hoạt ảnh tĩnh của một chai nước hoa có sương mù trôi và lực đẩy chậm, tạo ra một quảng cáo trên mạng xã hội dài 5 giây mà không cần quay video.
Một bảo tàng tạo hoạt ảnh cho một bức tranh phong cảnh được quét để mây trôi và nước gợn sóng, đồng thời gắn nhãn clip là do AI tạo ra trong thư viện.
Nhà làm phim tạo ra hai khung hình trong bảng phân cảnh bằng một mô hình hình ảnh, sau đó sử dụng chế độ video khung hình đầu tiên và khung hình cuối cùng để chuyển tiếp có kiểm soát giữa chúng.
Một người có sở thích chạy tính năng Khuếch tán video ổn định cục bộ, tăng cài đặt chuyển động để biến bức ảnh bãi biển yên tĩnh thành sóng vỗ và thấy các khuôn mặt ở hậu cảnh bắt đầu cong vênh.
Độ dài clip, độ phân giải và tính kết hợp chuyển động đã được cải thiện đều đặn, đồng thời khả năng điều khiển khung hình đầu tiên và khung hình cuối cùng cũng như cài đặt trước của máy ảnh đang trở thành các tính năng tiêu chuẩn. Chuyển động chính xác về mặt vật lý, nhận dạng ổn định trên các đoạn phim dài và xử lý đáng tin cậy các vùng bị che khuất vẫn là những vấn đề khó khăn khi chưa có giải pháp chung. Mong đợi mức tăng dần dần thay vì một bước nhảy đột ngột. Khi ảnh tĩnh hoạt hình ngày càng khó phân biệt với cảnh quay thực, các phương pháp tiếp cận xuất xứ như thông tin xác thực nội dung và ghi nhãn rõ ràng sẽ quan trọng hơn đối với tin tức, kho lưu trữ và giáo dục.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Việc tạo hình ảnh thành video biến một hình ảnh tĩnh thành một đoạn video ngắn. Mô hình sử dụng hình ảnh làm khung hình đầu tiên hoặc làm điểm neo trực quan và phát minh ra chuyển động hợp lý từ đó. Điều này quan trọng bởi vì người sáng tạo có thể sửa chính xác hình thức của một cảnh quay trước khi tạo hoạt ảnh cho nó, điều mà chỉ chuyển văn bản thành video hiếm khi cho phép.
Hình ảnh tiềm ẩn được xếp chồng lên nhau với độ nhiễu tiềm ẩn của mỗi khung hình ở mỗi bước khử nhiễu, cố định clip vào đầu vào.
Các clip đào tạo được nhóm theo lượng luồng quang mà chúng chứa, do đó giá trị sẽ quyết định mức độ chuyển động của đầu ra.
Nhiều tiếng ồn hơn trong điều kiện sẽ làm lỏng điểm cố định, do đó video sẽ lệch xa đầu vào: nhiều chuyển động hơn, trôi nhiều hơn.
Một hình ảnh duy nhất không chứa gì về những gì bị ẩn và mô hình không tái tạo lại cảnh 3D, do đó nó đoán.
Mỗi phân đoạn kế thừa và bổ sung thêm những khuyết điểm của phân đoạn trước đó, do đó, dẫn đến các phần mở rộng lặp đi lặp lại.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Điều khiển camera trong thế hệ video AI
AI trực quan