HƯỚNG DẪN AI trực quan

Đồng bộ hóa môi bằng AI điều khiển bằng âm thanh

Tính năng đồng bộ hóa môi bằng AI điều khiển bằng âm thanh sẽ chỉnh sửa video của khuôn mặt để chuyển động của miệng phù hợp với đoạn lời nói mới, dự đoán hình dạng miệng từ chính âm thanh đó.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của AI Lip Sync điều khiển bằng âm thanh
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Điều quan trọng đối với việc lồng tiếng các bài học và phim sang các ngôn ngữ khác cũng như sửa chữa đoạn hội thoại được ghi lại. Kỹ thuật tương tự cũng có thể khiến người thật dường như nói những lời mà họ chưa từng nói.

Lặn sâu

Wav2Lip, được các nhà nghiên cứu tại IIIT Hyderabad (ACM Multimedia) xuất bản vào năm 2020, là mô hình hát nhép mở nổi tiếng nhất và là mẫu hữu ích cho lĩnh vực này. Đối với mỗi khung mục tiêu, trình tạo nhận được ba đầu vào: khuôn mặt bị che nửa dưới, khung tham chiếu của cùng một người cung cấp diện mạo và một cửa sổ mel-spectrogram ngắn của âm thanh xung quanh thời điểm đó. Sau đó, mạng mã hóa-giải mã sẽ vẽ vùng miệng và kết quả sẽ được trộn lại thành video gốc. Đóng góp quan trọng nhất là công cụ phân biệt đồng bộ hóa "chuyên gia" được đào tạo trước dựa trên SyncNet. Nó vẫn bị treo trong quá trình huấn luyện và đánh giá xem một đoạn khung miệng ngắn có khớp với âm thanh hay không. Các phương pháp tiếp cận trước đó đã đào tạo bộ phân biệt đối xử đồng bộ cùng với trình tạo và những bộ phân biệt đối xử đó hóa ra lại là những người đánh giá đồng bộ kém. Wav2Lip cũng sử dụng một bộ phân biệt chất lượng hình ảnh riêng biệt. Điểm yếu của nó là vết cắt miệng có độ phân giải thấp, răng mờ và đường nối lộ rõ ​​hoặc nhấp nháy ở ranh giới mặt nạ. Các hệ thống sau này như VideoReTalking, MuseTalk và LatentSync dựa trên khuếch tán nhằm mục đích mang lại kết quả sắc nét hơn, ổn định hơn. Chất lượng được đánh giá theo nhiều cách. LSE-D đo khoảng cách giữa phần nhúng âm thanh và video của SyncNet, trong đó càng thấp thì càng tốt. LSE-C đo lường độ tin cậy của SyncNet, mức nào càng cao thì càng tốt. Các số liệu về chất lượng hình ảnh như FID và xếp hạng con người bao hàm tính chân thực. Một quan niệm sai lầm phổ biến là điểm đồng bộ hóa tốt có nghĩa là video chân thực. Chuyển động miệng quá mức có thể đạt điểm cao nhưng vẫn có vẻ sai, vì vậy việc đánh giá của con người vẫn rất cần thiết. Một thách thức là nhiều âm vị có cùng hình dạng miệng có thể nhìn thấy được, hay còn gọi là viseme, do đó việc ánh xạ âm thanh sang miệng là nhiều-một. Việc sử dụng sai mục đích trực tiếp đến từ công nghệ: ghép một giọng nói nhân bản với hát nhép có thể tạo ra những tuyên bố giả mạo đầy thuyết phục. Các nhà nghiên cứu đã chỉ ra rằng sự không khớp giữa âm vị và hình vị, đặc biệt là việc môi không khép lại được với âm 'm', 'b' và 'p', có thể làm lộ ra những sự giả mạo như vậy.

Triển khai trong thế giới thực

Một nhà cung cấp khóa học trực tuyến lồng tiếng bài giảng sang tiếng Tây Ban Nha và sử dụng tính năng hát nhép để miệng của người hướng dẫn khớp với âm thanh được dịch, đồng thời lưu ý phần chỉnh sửa trong mô tả video.

Trình chỉnh sửa video sẽ đồng bộ miệng của diễn viên với một đoạn hội thoại được ghi lại sau cảnh quay với sự đồng ý của diễn viên thay vì quay lại cảnh đó.

Một người xác minh tính xác thực sẽ kiểm tra một đoạn clip lan truyền về một chính trị gia và nhận thấy môi không bao giờ khép kín hoàn toàn khi nghe các âm 'b', 'p' và 'm', một dấu hiệu đã biết của hành vi giả mạo hát nhép.

Một nhà nghiên cứu chạy Wav2Lip trên một tập hợp các clip có đầu biết nói và chấm điểm kết quả bằng LSE-D và LSE-C để so sánh chúng với mô hình hát nhép dựa trên sự khuếch tán mới hơn.

Tương lai của AI Lip Sync điều khiển bằng âm thanh

Hát nhép đang trở thành một tính năng tiêu chuẩn của các công cụ lồng tiếng và bản địa hóa video, đồng thời nghiên cứu đang hướng tới độ phân giải cao hơn, răng và lưỡi ổn định cũng như đồng bộ hóa toàn bộ nét mặt và chuyển động đầu thay vì chỉ miệng. Việc phát hiện là một cuộc chạy đua vũ trang: các tín hiệu pháp y như sự không khớp âm vị-viseme yếu đi khi máy phát điện được cải thiện. Một số khu vực pháp lý đã bắt đầu quản lý các phương tiện truyền thông tổng hợp lừa đảo, đặc biệt là xung quanh các cuộc bầu cử. Sự đồng ý của người được giới thiệu, tiết lộ rõ ​​ràng và ghi nhãn xuất xứ có thể vẫn là trọng tâm của việc sử dụng có trách nhiệm.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Audio-Driven AI Lip Sync quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Đồng bộ hóa môi AI điều khiển bằng âm thanh là gì?

Tính năng đồng bộ hóa môi bằng AI điều khiển bằng âm thanh sẽ chỉnh sửa video của khuôn mặt để chuyển động của miệng phù hợp với đoạn lời nói mới, dự đoán hình dạng miệng từ chính âm thanh đó. Điều quan trọng đối với việc lồng tiếng các bài học và phim sang các ngôn ngữ khác cũng như sửa chữa đoạn hội thoại được ghi lại. Kỹ thuật tương tự cũng có thể khiến người thật dường như nói những lời mà họ chưa từng nói.

Tại sao Wav2Lip che nửa dưới của khuôn mặt mục tiêu?

Với miệng thật bị ẩn, máy phát điện phải dựa vào âm thanh để quyết định hình dạng miệng.

Điều gì đã làm cho công cụ phân biệt đồng bộ hóa của Wav2Lip khác với các phương pháp trước đó?

Những người phân biệt được đào tạo cùng với máy phát điện là những người đánh giá yếu về tính đồng bộ. Một chuyên gia đông lạnh đưa ra một tín hiệu đáng tin cậy.

LSE-D nên được đọc như thế nào?

LSE-D là một khoảng cách, vì vậy các giá trị nhỏ hơn có nghĩa là phần nhúng âm thanh và miệng gần hơn, nghĩa là đồng bộ hóa tốt hơn.

Vai trò của khung tham chiếu trong Wav2Lip là gì?

Khung tham chiếu cung cấp bản sắc và kết cấu. Âm thanh cung cấp hình dạng miệng.

Đâu là điểm yếu về mặt hình ảnh của Wav2Lip ban đầu?

Wav2Lip xử lý các vết cắt trên khuôn mặt nhỏ nên miệng và răng thường trông mềm mại bên cạnh khung hình xung quanh sắc nét hơn.