Bộ mã hóa sáng tạo MelGAN
MelGAN là một bộ phát âm dựa trên GAN tích chập hoàn toàn, biến các biểu đồ phổ mel thành dạng sóng âm thanh thô chỉ trong một lần chuyển tiếp nhanh.
Tổng quan
It mattered because it proved high-quality, non-autoregressive speech synthesis could run hundreds of times faster than real time on a GPU.
Lặn sâu
MelGAN, được giới thiệu bởi Kumar và cộng sự. vào năm 2019, tạo ra âm thanh mà không cần vòng lặp từng mẫu chậm như WaveNet sử dụng. Bộ tạo của nó là một tập hợp các tích chập chuyển đổi lấy mẫu một biểu đồ mel (thường là 80 dải tần số) lên đến tốc độ mẫu âm thanh, với các khối dư sử dụng các tích chập giãn nở để mở rộng trường tiếp nhận. Cải tiến quan trọng là đào tạo với nhiều bộ phân biệt hoạt động ở các thang âm thanh khác nhau (dạng sóng gốc cộng với các phiên bản lấy mẫu xuống), mỗi bộ phân biệt nhìn vào các cửa sổ chồng chéo. Mất tính năng so khớp so sánh kích hoạt bộ phân biệt giữa âm thanh thật và âm thanh giả, ổn định quá trình đào tạo GAN. Mô hình này rất nhỏ so với tiêu chuẩn âm thanh thần kinh và chạy nhanh hơn thời gian thực ngay cả trên CPU, khiến nó trở nên thiết thực cho việc chuyển văn bản thành giọng nói được nhúng và trên thiết bị.
Hiểu biết kỹ thuật
Bộ phân biệt đa quy mô của MelGAN sử dụng ba mạng giống hệt nhau để xem âm thanh ở độ phân giải đầy đủ, một nửa và một phần tư, mỗi mạng thu được cấu trúc ở các dải tần số khác nhau. Điều quan trọng, MelGAN dựa vào sự mất mát so khớp tính năng (khoảng cách L1 giữa các bản đồ tính năng phân biệt đối xử của âm thanh thực và âm thanh được tạo) thay vì mất khả năng tái tạo phổ phổ rõ ràng, điều này khuyến khích trình tạo khớp với từng lớp thống kê của âm thanh thực.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của Bộ mã hóa sáng tạo MelGAN
MelGAN đã gieo mầm cho một gia đình các nhà phát âm GAN. Những người kế nhiệm của nó, HiFi-GAN và UnivNet, vẫn giữ nguyên phương pháp tiếp cận nhanh không tự hồi quy nhưng đã bổ sung các bộ phân biệt đối xử nhiều giai đoạn và đa độ phân giải để có tần số cao sạch hơn. Kiến trúc này vẫn tồn tại trong TTS trên thiết bị và phát trực tuyến, nơi độ trễ và kích thước mô hình đóng vai trò quan trọng, đồng thời các ý tưởng phân biệt đối xử của nó tiếp tục ảnh hưởng đến các bộ giải mã thần kinh và hệ thống tạo nhạc, nơi việc đào tạo đối nghịch sẽ cải thiện chất lượng cảm nhận.
Triển khai trong thế giới thực
Tính năng chuyển văn bản thành giọng nói trên thiết bị trong trợ lý di động, nơi có bộ phát âm nhỏ, nhanh giúp tránh các chuyến đi vòng quanh đám mây
Đường dẫn chuyển đổi giọng nói theo thời gian thực chuyển đổi biểu đồ phổ của người nói thành giọng nói mục tiêu
Các công cụ trò chơi và hoạt hình tổng hợp đoạn hội thoại của nhân vật từ các ảnh phổ được tạo ra với độ trễ thấp
Cơ sở nghiên cứu về GAN âm thanh, trong đó sự mất mát so khớp tính năng của MelGAN được sử dụng lại để tạo âm nhạc và hiệu ứng âm thanh
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MelGAN Generative Vocoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Bộ phát âm khuếch tán DiffWave
Câu hỏi thường gặp
What is MelGAN Generative Vocoder?
MelGAN là một bộ phát âm dựa trên GAN tích chập hoàn toàn, biến các biểu đồ phổ mel thành dạng sóng âm thanh thô chỉ trong một lần chuyển tiếp nhanh. Điều này quan trọng vì nó đã chứng minh tính năng tổng hợp giọng nói không tự hồi quy chất lượng cao có thể chạy nhanh hơn hàng trăm lần so với thời gian thực trên GPU.
MelGAN chuyển đổi đầu vào nào thành dạng sóng âm thanh thô?
MelGAN là một bộ phát âm: nó lấy biểu diễn đặc điểm âm thanh, biểu đồ mel và tổng hợp dạng sóng tương ứng.
Tại sao MelGAN suy luận nhanh hơn WaveNet nhiều?
WaveNet tạo từng mẫu một cách tự động; Bộ tạo tích chập của MelGAN tạo ra toàn bộ dạng sóng trong một lần chuyển tiếp song song duy nhất.
MelGAN đã giới thiệu thiết kế phân biệt đối xử đặc biệt nào?
MelGAN sử dụng nhiều bộ phân biệt giống hệt nhau để kiểm tra dạng sóng ban đầu và các phiên bản lấy mẫu xuống để nắm bắt cấu trúc ở các tỷ lệ khác nhau.
Trận thua nào giúp ổn định quá trình huấn luyện đối thủ của MelGAN?
Việc mất tính năng so khớp sẽ giảm thiểu khoảng cách L1 giữa các bản đồ tính năng của bộ phân biệt đối với âm thanh thực và âm thanh được tạo, hướng dẫn trình tạo và ổn định quá trình đào tạo.
Máy phát điện của MelGAN tăng trường tiếp nhận của nó như thế nào?
Các khối dư với các kết cấu giãn nở sẽ mở rộng trường tiếp nhận một cách hiệu quả, cho phép máy phát mô hình hóa cấu trúc thời gian tầm xa.