Tiếp theoHướng dẫn tiếp theo
Bộ mã hóa sáng tạo MelGAN
AI âm thanh
HƯỚNG DẪN AI âm thanh
Parallel WaveGAN là một bộ mã hóa thần kinh nhanh, biến biểu đồ mel thành dạng sóng âm thanh thô bằng cách sử dụng GAN nhỏ, tạo ra tất cả các mẫu cùng một lúc.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
It matters because it gives near-real-time, high-quality speech with a compact model.
Bộ mã hóa âm thanh là giai đoạn cuối cùng của quy trình TTS: nó chuyển đổi bản đồ đặc trưng âm thanh (thường là biểu đồ mel) thành sóng âm thanh thực tế mà bạn nghe thấy. Parallel WaveGAN, do Yamamoto, Song và Kim đề xuất vào năm 2019, thực hiện điều này bằng một trình tạo kiểu WaveNet không tự hồi quy được đào tạo như một mạng tạo đối thủ. Thay vì dự đoán từng mẫu âm thanh tại một thời điểm như WaveNet ban đầu, nó tạo ra toàn bộ dạng sóng song song, khiến tốc độ nhanh hơn đáng kể. Công thức chính của nó kết hợp sự mất mát đối nghịch với sự mất mát biến đổi Fourier thời gian ngắn (STFT) đa độ phân giải, do đó mô hình khớp với tín hiệu thực trên nhiều thang thời gian và tần số. Kết quả là một bộ tạo nhỏ (khoảng 1,4 triệu tham số) chạy nhanh hơn nhiều lần so với thời gian thực trên GPU.
Đầu ra giọng nói theo thời gian thực trong trợ lý giọng nói di động nơi độ trễ và kích thước mô hình đóng vai trò quan trọng
Đóng vai trò là bộ tạo dạng sóng được ghép nối với các mẫu âm thanh như Tacotron 2 hoặc FastSpeech
Tính năng chuyển văn bản thành giọng nói trên thiết bị dành cho các công cụ trợ năng không thể dựa vào đám mây
Hệ thống chuyển đổi giọng nói tổng hợp lại các biểu đồ phổ đã chuyển đổi thành âm thanh tự nhiên
Parallel WaveGAN đã giúp thiết lập bộ phát âm GAN làm mặc định thực tế và hiện tượng mất STFT đa độ phân giải của nó hiện xuất hiện trên các hệ thống kế thừa như HiFi-GAN và nhiều hệ thống phát trực tuyến. Quỹ đạo hướng tới các bộ phát âm nhỏ hơn bao giờ hết, có độ trễ thấp hơn dành cho trợ lý trên thiết bị, máy trợ thính và chuyển đổi giọng nói trực tiếp, cùng với các bộ phát âm phổ quát dành cho những người nói không nhìn thấy được. Mong đợi sự tích hợp chặt chẽ hơn với TTS đầu cuối và triển khai hiệu quả trên chip di động và chip nhúng.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Parallel WaveGAN là một bộ mã hóa thần kinh nhanh, biến biểu đồ mel thành dạng sóng âm thanh thô bằng cách sử dụng GAN nhỏ, tạo ra tất cả các mẫu cùng một lúc. Điều này quan trọng vì nó mang lại giọng nói chất lượng cao, gần như theo thời gian thực với một mô hình nhỏ gọn.
Bộ mã hóa âm thanh là giai đoạn TTS cuối cùng tổng hợp sóng âm thanh thực tế từ các đặc điểm âm thanh như biểu đồ mel.
Parallel WaveGAN không tự hồi quy, tạo ra toàn bộ dạng sóng cùng một lúc thay vì lấy mẫu theo mẫu, điều này giúp tốc độ nhanh hơn nhiều.
Nó kết hợp tổn thất đối nghịch với tổn thất STFT đa độ phân giải để so sánh cường độ biểu đồ phổ ở nhiều tỷ lệ.
Trình tạo là một mạng giống như WaveNet được xây dựng từ các tổ hợp giãn nở, dựa trên biểu đồ mel và nhiễu.
Với khoảng 1,4 triệu tham số, nó nhỏ gọn và chạy nhanh hơn nhiều lần so với thời gian thực, lý tưởng để sử dụng trên thiết bị.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Bộ mã hóa sáng tạo MelGAN
AI âm thanh