Tạo chuyển động AnimateDiff
AnimateDiff là một kỹ thuật bổ sung chuyển động cho các mô hình khuếch tán văn bản thành hình ảnh hiện có như Khuếch tán ổn định, biến trình tạo hình ảnh tĩnh thành trình tạo video ngắn mà không cần đào tạo lại toàn bộ mô hình.
Tổng quan
It matters because it lets the huge ecosystem of image models and custom styles produce animation cheaply.
Lặn sâu
AnimateDiff hoạt động bằng cách đào tạo một 'mô-đun chuyển động' riêng biệt trên các video clip và sau đó cắm mô-đun đó vào một mô hình khuếch tán hình ảnh cố định, đã được đào tạo sẵn, chẳng hạn như Khuếch tán ổn định. Mô hình hình ảnh vẫn xử lý hình thức, kiểu dáng và nội dung, trong khi mô-đun chuyển động tìm hiểu cách các pixel di chuyển và duy trì tính nhất quán trên các khung. Điều quan trọng là, vì mô hình cơ sở vẫn bị đóng băng, mô-đun chuyển động tương tự có thể được thả vào hàng nghìn tinh chỉnh cộng đồng và LoRA, do đó điểm kiểm tra anime, quang học hoặc họa sĩ tùy chỉnh của người dùng đột nhiên hoạt hình. Kết quả thường là một đoạn clip ngắn khoảng 16 khung hình. Các phiên bản sau này đã thêm LoRA chuyển động để điều khiển chuyển động của camera (pan, zoom, roll) và SparseCtrl để điều chỉnh trên một số khung hướng dẫn.
Hiểu biết kỹ thuật
Mô-đun chuyển động được chèn dưới dạng các lớp chú ý tạm thời giữa các lớp không gian hiện có của U-Net. Trong quá trình khử nhiễu, mỗi khung hình có thể liên quan đến các khung hình khác dọc theo trục thời gian, do đó, một khuôn mặt hoặc vật thể được tạo trong khung 1 vẫn nhất quán trong khung 8. Chỉ những lớp thời gian này được huấn luyện trên video; trọng số không gian không bị ảnh hưởng, đó là lý do tại sao các mô hình hình ảnh được tinh chỉnh tùy ý vẫn tương thích.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của thế hệ chuyển động AnimateDiff
AnimateDiff đã thu hẹp khoảng cách trước các mô hình video chuyên dụng và triết lý plug-in của nó tiếp tục ảnh hưởng đến lĩnh vực này. Mong đợi các mô-đun chuyển động sẽ hỗ trợ các clip dài hơn, độ phân giải cao hơn cũng như khả năng kiểm soát quỹ đạo và camera chặt chẽ hơn, cùng với việc tích hợp với hướng dẫn kiểu ControlNet. Khi các mô hình video biến đổi và khuếch tán video gốc lớn đã trưởng thành, các bộ điều hợp kiểu AnimateDiff có thể sẽ vẫn có giá trị để tạo hoạt ảnh với giá rẻ cho thư viện rộng lớn gồm các điểm kiểm tra hình ảnh cách điệu, chuyên biệt mà các mô hình video lớn không thể sao chép nguyên bản.
Triển khai trong thế giới thực
Hoạt hình hóa điểm kiểm tra Khuếch tán ổn định theo phong cách anime tùy chỉnh thành một clip nhân vật lặp lại ngắn
Thêm tính năng thu phóng hoặc xoay camera chậm vào phong cảnh được tạo bằng LoRA chuyển động
Tạo nhãn dán hoạt hình ngắn gọn hoặc vòng lặp phương tiện truyền thông xã hội từ một lời nhắc văn bản
Sử dụng SparseCtrl với một vài khung hình chính để hướng dẫn chuyển đổi giữa hai cảnh
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AnimateDiff Motion Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tạo video không-thời gian Lumiere
Câu hỏi thường gặp
What is AnimateDiff Motion Generation?
AnimateDiff là một kỹ thuật bổ sung chuyển động cho các mô hình khuếch tán văn bản thành hình ảnh hiện có như Khuếch tán ổn định, biến trình tạo hình ảnh tĩnh thành trình tạo video ngắn mà không cần đào tạo lại toàn bộ mô hình. Điều này quan trọng vì nó cho phép hệ sinh thái khổng lồ gồm các mô hình hình ảnh và phong cách tùy chỉnh tạo ra hoạt ảnh với chi phí rẻ.
Ý tưởng cốt lõi đằng sau AnimateDiff là gì?
AnimateDiff chèn một mô-đun chuyển động được huấn luyện riêng biệt vào một mô hình chuyển văn bản thành hình ảnh cố định hiện có để mô-đun này có thể tạo ra chuyển động mà không cần huấn luyện lại mô hình cơ sở.
Tại sao AnimateDiff có thể làm việc với nhiều mẫu hình ảnh do cộng đồng tạo ra?
Vì trọng số về hình thức (không gian) không bị ảnh hưởng nên mô-đun chuyển động có thể được thả vào hàng nghìn giai điệu tinh chỉnh và LoRA.
Làm thế nào mô-đun chuyển động giữ cho các khung hình nhất quán với nhau?
Các lớp chú ý tạm thời được thêm vào U-Net cho phép mỗi khung hình liên quan đến các khung hình khác dọc theo trục thời gian, duy trì sự mạch lạc.
Họ mô hình nào được AnimateDiff liên kết nhiều nhất với việc mở rộng?
AnimateDiff được xây dựng để thêm chuyển động vào các mô hình khuếch tán văn bản thành hình ảnh theo kiểu Khuếch tán ổn định.
LoRA chuyển động trong hệ sinh thái AnimateDiff thường kiểm soát điều gì?
Motion LoRA được giới thiệu để điều khiển các chuyển động của camera như xoay, thu phóng và cuộn.