Tiếp theoHướng dẫn tiếp theo
Cách chỉnh sửa video bằng cách chỉnh sửa văn bản bằng AI
AI trực quan
HƯỚNG DẪN AI trực quan
AI chuyển văn bản thành chuyển động tạo ra hoạt ảnh nhân vật 3D từ lời nhắc bằng văn bản, chẳng hạn như "một người nhảy qua vũng nước", tạo ra một chuỗi các tư thế bộ xương thay vì pixel video.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Các công cụ liên quan trích xuất chuyển động từ video điện thoại thông thường. Họ cùng nhau cung cấp cho các nhà phát triển độc lập, nhà làm phim hoạt hình và nhà giáo dục bản thảo nhanh đầu tiên về chuyển động của nhân vật mà không cần bộ đồ mocap hoặc dòng thời gian được gõ bằng tay.
Hệ thống chuyển văn bản thành chuyển động tạo ra tư thế cơ thể chứ không phải pixel. Mỗi khung mô tả một bộ xương: vị trí gốc và hướng cộng với các góc quay cho mỗi khớp, thường được biểu thị trên mô hình cơ thể tham số như SMPL. Do đó, một clip là một mạng lưới các khung hình theo các đặc điểm, đó là lý do tại sao các kỹ thuật tổng hợp được xây dựng cho hình ảnh và ngôn ngữ có thể được điều chỉnh cho phù hợp với chuyển động. Phương pháp nổi tiếng nhất là Mô hình khuếch tán chuyển động (MDM), được các nhà nghiên cứu tại Đại học Tel Aviv công bố vào năm 2022. Nó bắt đầu từ tiếng ồn ngẫu nhiên có hình dạng giống như một đoạn chuyển động và sử dụng máy biến áp để loại bỏ tiếng ồn đó từng bước, được điều khiển bằng văn bản nhúng từ CLIP. Các mô hình như thế này học hỏi từ các bộ dữ liệu kết hợp tính năng ghi chuyển động với mô tả bằng văn bản, đáng chú ý nhất là HumanML3D, có các clip được lấy phần lớn từ bộ sưu tập ghi chuyển động AMASS. Nhóm thứ hai xử lý chuyển động giống như ngôn ngữ: T2M-GPT và MoMask nén chuyển động thành các mã thông báo riêng biệt với lượng tử hóa kiểu VQ-VAE, sau đó tạo các mã thông báo đó theo cách mô hình ngôn ngữ tạo ra từ. Một nhánh riêng biệt bỏ qua toàn bộ văn bản. Các công cụ ghi lại chuyển động AI như Move.ai, DeepMotion, Rokoko Vision và Wonder Studio (nay là Autodesk Flow Studio) ước tính các tư thế 3D từ video thông thường. Họ phát hiện các điểm chính của nội dung 2D trong mỗi khung hình, chuyển chúng thành 3D và làm mịn kết quả theo thời gian. Đối với nhiều dự án, điều này thay thế các bộ đồ chụp và studio đánh dấu. Trong cả hai trường hợp, đầu ra phải được nhắm mục tiêu lại: ánh xạ lên một giàn nhân vật có tên xương, tỷ lệ và tư thế nghỉ ngơi khác với bộ xương nguồn. Một quan niệm sai lầm phổ biến là những công cụ này mang lại hiệu suất hoàn thiện. Các sai sót điển hình bao gồm trượt chân, trong đó bàn chân trượt dọc theo mặt đất, bàn chân chìm xuống sàn, giật và cứng tay vì nhiều bộ dữ liệu ghi lại ngón tay kém. Các clip được tạo thường chỉ dài vài giây và các lời nhắc liên quan đến chuỗi hành động hoặc đối tượng dài vẫn còn khó khăn. Hầu hết các studio đều coi đầu ra là bước vượt qua đầu tiên mà nhà làm phim hoạt hình tinh chỉnh trong các công cụ như Maya, Blender hoặc MotionBuilder.
Một nhà phát triển trò chơi độc lập gợi ý một mô hình khuếch tán chuyển động cho "một người lính mệt mỏi khập khiễng tiến về phía trước và ngồi trên một chiếc thùng", xuất clip dưới dạng FBX và nhắm mục tiêu lại vào nhân vật Unity làm phần giữ chỗ trước hoạt ảnh cuối cùng.
Một xưởng phim hoạt hình nhỏ quay phim một diễn viên trong phòng khách bằng một chiếc điện thoại, chạy đoạn phim thông qua dịch vụ ghi chuyển động dựa trên video và dọn dẹp khung hình thu được trong Blender thay vì thuê giai đoạn ghi hình dựa trên điểm đánh dấu.
Một nghệ sĩ hình dung trước sẽ chặn một cảnh đánh nhau bằng cách tạo ra hàng tá clip chuyển văn bản thành chuyển động ngắn, ghép chúng ở giữa và hiển thị thời gian cũng như dàn dựng của đạo diễn trước khi bất kỳ khung hình chính nào được vẽ.
Một nhà nghiên cứu vật lý trị liệu so sánh dáng đi của bệnh nhân, được ghi lại từ video của phòng khám với ước tính tư thế không có điểm đánh dấu, với chuyển động đi bộ tham chiếu để theo dõi những thay đổi về góc khớp trong nhiều tuần.
Nghiên cứu đang hướng tới những đoạn clip dài hơn, nhiều nhân vật tương tác, chuyển động tôn trọng các ràng buộc vật lý và các nhân vật tương tác với các vật thể và cảnh thay vì di chuyển trong không gian trống. Các công cụ trò chơi và gói hoạt hình đang bắt đầu tích hợp quá trình tạo và quay video dưới dạng các tính năng tích hợp, điều này có thể cung cấp hoạt ảnh thô cho nhiều người sáng tạo hơn. Các giới hạn quan trọng vẫn còn: dữ liệu huấn luyện nhỏ so với tập dữ liệu hình ảnh, nó thể hiện không đúng nhiều loại cơ thể, nền văn hóa và phong cách chuyển động, đồng thời chất lượng của bàn tay và khuôn mặt tụt hậu so với chuyển động toàn cơ thể. Mong đợi các nhà làm phim hoạt hình giữ vai trò trung tâm trong việc chỉ đạo, chỉnh sửa và bổ sung hiệu suất cho chuyển động được tạo ra.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
AI chuyển văn bản thành chuyển động tạo ra hoạt ảnh nhân vật 3D từ lời nhắc bằng văn bản, chẳng hạn như "một người nhảy qua vũng nước", tạo ra một chuỗi các tư thế bộ xương thay vì pixel video. Các công cụ liên quan trích xuất chuyển động từ video điện thoại thông thường. Họ cùng nhau cung cấp cho các nhà phát triển độc lập, nhà làm phim hoạt hình và nhà giáo dục bản thảo nhanh đầu tiên về chuyển động của nhân vật mà không cần bộ đồ mocap hoặc dòng thời gian được gõ bằng tay.
Nội dung đầu ra của mô hình chuyển văn bản thành chuyển động đặt ra từng khung hình, thường là vị trí và hướng gốc cùng với các thao tác xoay khớp. Việc kết xuất và thiết kế nhân vật diễn ra ở những nơi khác trong quy trình.
MDM điều chỉnh bộ khử nhiễu biến áp của nó dựa trên việc nhúng văn bản từ CLIP, liên kết ngôn ngữ với ý nghĩa đã học được từ các cặp hình ảnh và văn bản.
HumanML3D kết hợp các mô tả bằng văn bản với các clip chuyển động được lấy phần lớn từ AMASS, một bộ sưu tập lớn dữ liệu ghi lại chuyển động được tiêu chuẩn hóa.
Bởi vì mạng đưa ra các tư thế thực tế nên việc đào tạo có thể trực tiếp trừng phạt các kết quả không hợp lý về mặt thể chất, chẳng hạn như chân di chuyển trong khi lẽ ra chúng phải được đặt.
Các mô hình này học từ vựng về mã thông báo chuyển động và sau đó tạo ra chuỗi mã thông báo, giống như mô hình ngôn ngữ tạo ra văn bản.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Cách chỉnh sửa video bằng cách chỉnh sửa văn bản bằng AI
AI trực quan