Tiếp theoHướng dẫn tiếp theo
Hình mờ vô hình cho hình ảnh và âm thanh AI
AI trực quan
HƯỚNG DẪN AI trực quan
Tính năng đồng bộ hóa môi bằng AI điều khiển bằng âm thanh sẽ chỉnh sửa video của khuôn mặt để chuyển động của miệng phù hợp với đoạn lời nói mới, dự đoán hình dạng miệng từ chính âm thanh đó.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Điều quan trọng đối với việc lồng tiếng các bài học và phim sang các ngôn ngữ khác cũng như sửa chữa đoạn hội thoại được ghi lại. Kỹ thuật tương tự cũng có thể khiến người thật dường như nói những lời mà họ chưa từng nói.
Wav2Lip, được các nhà nghiên cứu tại IIIT Hyderabad (ACM Multimedia) xuất bản vào năm 2020, là mô hình hát nhép mở nổi tiếng nhất và là mẫu hữu ích cho lĩnh vực này. Đối với mỗi khung mục tiêu, trình tạo nhận được ba đầu vào: khuôn mặt bị che nửa dưới, khung tham chiếu của cùng một người cung cấp diện mạo và một cửa sổ mel-spectrogram ngắn của âm thanh xung quanh thời điểm đó. Sau đó, mạng mã hóa-giải mã sẽ vẽ vùng miệng và kết quả sẽ được trộn lại thành video gốc. Đóng góp quan trọng nhất là công cụ phân biệt đồng bộ hóa "chuyên gia" được đào tạo trước dựa trên SyncNet. Nó vẫn bị treo trong quá trình huấn luyện và đánh giá xem một đoạn khung miệng ngắn có khớp với âm thanh hay không. Các phương pháp tiếp cận trước đó đã đào tạo bộ phân biệt đối xử đồng bộ cùng với trình tạo và những bộ phân biệt đối xử đó hóa ra lại là những người đánh giá đồng bộ kém. Wav2Lip cũng sử dụng một bộ phân biệt chất lượng hình ảnh riêng biệt. Điểm yếu của nó là vết cắt miệng có độ phân giải thấp, răng mờ và đường nối lộ rõ hoặc nhấp nháy ở ranh giới mặt nạ. Các hệ thống sau này như VideoReTalking, MuseTalk và LatentSync dựa trên khuếch tán nhằm mục đích mang lại kết quả sắc nét hơn, ổn định hơn. Chất lượng được đánh giá theo nhiều cách. LSE-D đo khoảng cách giữa phần nhúng âm thanh và video của SyncNet, trong đó càng thấp thì càng tốt. LSE-C đo lường độ tin cậy của SyncNet, mức nào càng cao thì càng tốt. Các số liệu về chất lượng hình ảnh như FID và xếp hạng con người bao hàm tính chân thực. Một quan niệm sai lầm phổ biến là điểm đồng bộ hóa tốt có nghĩa là video chân thực. Chuyển động miệng quá mức có thể đạt điểm cao nhưng vẫn có vẻ sai, vì vậy việc đánh giá của con người vẫn rất cần thiết. Một thách thức là nhiều âm vị có cùng hình dạng miệng có thể nhìn thấy được, hay còn gọi là viseme, do đó việc ánh xạ âm thanh sang miệng là nhiều-một. Việc sử dụng sai mục đích trực tiếp đến từ công nghệ: ghép một giọng nói nhân bản với hát nhép có thể tạo ra những tuyên bố giả mạo đầy thuyết phục. Các nhà nghiên cứu đã chỉ ra rằng sự không khớp giữa âm vị và hình vị, đặc biệt là việc môi không khép lại được với âm 'm', 'b' và 'p', có thể làm lộ ra những sự giả mạo như vậy.
Một nhà cung cấp khóa học trực tuyến lồng tiếng bài giảng sang tiếng Tây Ban Nha và sử dụng tính năng hát nhép để miệng của người hướng dẫn khớp với âm thanh được dịch, đồng thời lưu ý phần chỉnh sửa trong mô tả video.
Trình chỉnh sửa video sẽ đồng bộ miệng của diễn viên với một đoạn hội thoại được ghi lại sau cảnh quay với sự đồng ý của diễn viên thay vì quay lại cảnh đó.
Một người xác minh tính xác thực sẽ kiểm tra một đoạn clip lan truyền về một chính trị gia và nhận thấy môi không bao giờ khép kín hoàn toàn khi nghe các âm 'b', 'p' và 'm', một dấu hiệu đã biết của hành vi giả mạo hát nhép.
Một nhà nghiên cứu chạy Wav2Lip trên một tập hợp các clip có đầu biết nói và chấm điểm kết quả bằng LSE-D và LSE-C để so sánh chúng với mô hình hát nhép dựa trên sự khuếch tán mới hơn.
Hát nhép đang trở thành một tính năng tiêu chuẩn của các công cụ lồng tiếng và bản địa hóa video, đồng thời nghiên cứu đang hướng tới độ phân giải cao hơn, răng và lưỡi ổn định cũng như đồng bộ hóa toàn bộ nét mặt và chuyển động đầu thay vì chỉ miệng. Việc phát hiện là một cuộc chạy đua vũ trang: các tín hiệu pháp y như sự không khớp âm vị-viseme yếu đi khi máy phát điện được cải thiện. Một số khu vực pháp lý đã bắt đầu quản lý các phương tiện truyền thông tổng hợp lừa đảo, đặc biệt là xung quanh các cuộc bầu cử. Sự đồng ý của người được giới thiệu, tiết lộ rõ ràng và ghi nhãn xuất xứ có thể vẫn là trọng tâm của việc sử dụng có trách nhiệm.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Tính năng đồng bộ hóa môi bằng AI điều khiển bằng âm thanh sẽ chỉnh sửa video của khuôn mặt để chuyển động của miệng phù hợp với đoạn lời nói mới, dự đoán hình dạng miệng từ chính âm thanh đó. Điều quan trọng đối với việc lồng tiếng các bài học và phim sang các ngôn ngữ khác cũng như sửa chữa đoạn hội thoại được ghi lại. Kỹ thuật tương tự cũng có thể khiến người thật dường như nói những lời mà họ chưa từng nói.
Với miệng thật bị ẩn, máy phát điện phải dựa vào âm thanh để quyết định hình dạng miệng.
Những người phân biệt được đào tạo cùng với máy phát điện là những người đánh giá yếu về tính đồng bộ. Một chuyên gia đông lạnh đưa ra một tín hiệu đáng tin cậy.
LSE-D là một khoảng cách, vì vậy các giá trị nhỏ hơn có nghĩa là phần nhúng âm thanh và miệng gần hơn, nghĩa là đồng bộ hóa tốt hơn.
Khung tham chiếu cung cấp bản sắc và kết cấu. Âm thanh cung cấp hình dạng miệng.
Wav2Lip xử lý các vết cắt trên khuôn mặt nhỏ nên miệng và răng thường trông mềm mại bên cạnh khung hình xung quanh sắc nét hơn.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Hình mờ vô hình cho hình ảnh và âm thanh AI
AI trực quan