HƯỚNG DẪN AI trực quan

Hoạt hình chân dung từ một bức ảnh duy nhất

Hoạt ảnh chân dung từ một bức ảnh duy nhất làm cho khuôn mặt tĩnh chuyển động, bao gồm xoay người, chớp mắt, thay đổi biểu cảm hoặc nói chuyện.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của hoạt ảnh chân dung từ một bức ảnh duy nhất
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó hoạt động bằng cách chuyển chuyển động từ video hoặc đoạn âm thanh lái xe sang hình ảnh nguồn. Nó hỗ trợ hình đại diện có đầu biết nói, ảnh hoạt hình gia đình và video của người dẫn chương trình, đồng thời làm tăng mối lo ngại về sự đồng ý vì một bức ảnh công khai là đủ đầu vào.

Lặn sâu

Mỗi hệ thống đều có bốn phần: hình ảnh nguồn cung cấp hình thức, tín hiệu điều khiển (video về khuôn mặt hoặc âm thanh khác), biểu diễn chuyển động và bộ tạo làm cong nguồn và lấp đầy các khoảng trống. Mô hình chuyển động bậc nhất (Siarohin và cộng sự, NeurIPS 2019) đặt mẫu. Nó học các điểm chính mà không có bất kỳ nhãn nào, cùng với các phép biến đổi affine cục bộ xung quanh mỗi điểm. Từ nguồn và các điểm chính điều khiển, nó dự đoán một trường chuyển động dày đặc, là luồng trên mỗi pixel, cộng với các vùng đánh dấu bản đồ tắc mà hình ảnh nguồn không thể cung cấp. Nó làm cong các bản đồ đặc trưng của nguồn theo dòng chảy và có lớp sơn giải mã ở các khu vực bị chặn. Nó cũng sử dụng tính năng truyền chuyển động tương đối: nó áp dụng cách các điểm chính điều khiển di chuyển so với khung hình đầu tiên của video lái xe chứ không phải vị trí tuyệt đối của chúng, để nguồn giữ hình dạng khuôn mặt của chính nó. SadTalker (CVPR 2023) hoạt hình từ âm thanh. Nó dự đoán các hệ số của Mô hình hình thái 3D từ giọng nói, sử dụng ExpNet cho biểu thức và PoseVAE cho tư thế đầu, sau đó hiển thị chúng thông qua trình tạo khuôn mặt dựa trên điểm chính. LivePortrait, do Kuaishou phát hành vào năm 2024, sử dụng các điểm chính ngầm được đào tạo trên một tập dữ liệu lớn. Nó bổ sung thêm một mô-đun ghép nối để dán khuôn mặt hoạt hình trở lại hình ảnh đầy đủ mà không bị lệch vai, đồng thời nhắm mục tiêu lại các mô-đun để tạo độ mở cho mắt và môi. Nó đủ nhanh để sử dụng gần như theo thời gian thực trên GPU. Các phương pháp dựa trên sự khuếch tán như EMO của Alibaba và dự án Hallo mở mang lại kết quả rõ ràng hơn với chi phí tính toán cao hơn nhiều. Một bức ảnh không có thông tin về hai bên đầu, bên trong miệng hay răng nên những vùng này được phát minh ra. Việc quay đầu lớn sẽ làm căng khuôn mặt, nền và tóc có thể bị cong vênh theo, và danh tính có thể bị trôi đi. Một quan niệm sai lầm phổ biến là những công cụ này xây dựng mô hình 3D đầy đủ của con người. Ngay cả các phương pháp dựa trên 3DMM cũng chỉ sử dụng mô hình khuôn mặt gần đúng.

Triển khai trong thế giới thực

Một ứng dụng phả hệ tạo hoạt ảnh cho bức ảnh của ông cố được quét bằng nụ cười tinh tế và chớp mắt. Nó có vẻ thuyết phục trong vài giây nhưng sẽ hỏng nếu quay đầu ra xa.

Một nhóm học tập trực tuyến sử dụng quy trình kiểu SadTalker để biến âm thanh tường thuật và chân dung của người thuyết trình thành phần giới thiệu khóa học bằng đầu biết nói.

Người sáng tạo ghi lại chính mình trên webcam để vẽ chân dung nhân vật minh họa bằng LivePortrait, sử dụng các điều khiển nhắm mục tiêu lại của nó để phóng đại khả năng mở mắt.

Bàn xác minh gắn cờ một video được cho là của một CEO vì tóc và khuyên tai vẫn cứng một cách kỳ lạ khi khuôn mặt chuyển động, điều này gợi ý hoạt ảnh của một bức ảnh.

Tương lai của hoạt ảnh chân dung từ một bức ảnh duy nhất

Hình đại diện thời gian thực cho cuộc gọi điện video, dịch vụ khách hàng và giáo dục đang trở nên thiết thực và các ưu tiên phổ biến đang cải thiện cách các mô hình lấp đầy các vùng không nhìn thấy như răng và chế độ xem hồ sơ. Việc xoay đầu lớn, làm tóc và phụ kiện nhất quán cũng như việc ổn định danh tính lâu dài vẫn còn khó khăn. Bởi vì một bức ảnh là đủ đầu vào nên sự đồng ý và tiết lộ là mối quan tâm hàng đầu. Các công cụ phát hiện và ghi nhãn xuất xứ đang phát triển cùng với các máy phát điện, nhưng không có phương pháp phát hiện nào đủ tin cậy.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Portrait Animation from a Single Photo quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Hoạt hình chân dung từ một bức ảnh là gì?

Hoạt ảnh chân dung từ một bức ảnh duy nhất làm cho khuôn mặt tĩnh chuyển động, bao gồm xoay người, chớp mắt, thay đổi biểu cảm hoặc nói chuyện. Nó hoạt động bằng cách chuyển chuyển động từ video hoặc đoạn âm thanh lái xe sang hình ảnh nguồn. Nó hỗ trợ hình đại diện có đầu biết nói, ảnh hoạt hình gia đình và video của người dẫn chương trình, đồng thời làm tăng mối lo ngại về sự đồng ý vì một bức ảnh công khai là đủ đầu vào.

Làm thế nào để Mô hình Chuyển động Bậc Một có được các điểm chính của nó?

FOMM khám phá các điểm chính theo cách không được giám sát. Đó là lý do tại sao nó có thể hoạt động trên các khuôn mặt và trên các danh mục đối tượng khác.

Mục đích của bản đồ tắc nghẽn là gì?

Bản đồ tắc nghẽn cho máy phát biết những khu vực nào không thể đến từ việc làm cong vênh nguồn và phải được điền vào.

Lợi ích của việc chuyển động tương đối là gì?

Việc áp dụng cách các điểm chính điều khiển thay đổi, thay vì vị trí của chúng, sẽ ngăn hình dạng khuôn mặt của trình điều khiển thay thế hình học của nguồn.

SadTalker dự đoán điều gì từ âm thanh?

ExpNet và PoseVAE của SadTalker tạo ra các hệ số 3DMM, sau đó trình kết xuất khuôn mặt sẽ chuyển thành khung.

Mô-đun ghép ảnh của LivePortrait làm gì?

Mô-đun ghép ảnh giữ cho phần cắt hoạt hình được căn chỉnh với phần còn lại của ảnh gốc khi dán lại.