HƯỚNG DẪN AI âm thanh

Bộ mã hóa WaveGAN song song

Parallel WaveGAN là một bộ mã hóa thần kinh nhanh, biến biểu đồ mel thành dạng sóng âm thanh thô bằng cách sử dụng GAN nhỏ, tạo ra tất cả các mẫu cùng một lúc.

Nghe hướng dẫn nàyAI thuật lại · ~2 min

Trên trang nàyĐọc trong 2 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của Bộ mã hóa WaveGAN song song
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

It matters because it gives near-real-time, high-quality speech with a compact model.

Lặn sâu

Bộ mã hóa âm thanh là giai đoạn cuối cùng của quy trình TTS: nó chuyển đổi bản đồ đặc trưng âm thanh (thường là biểu đồ mel) thành sóng âm thanh thực tế mà bạn nghe thấy. Parallel WaveGAN, do Yamamoto, Song và Kim đề xuất vào năm 2019, thực hiện điều này bằng một trình tạo kiểu WaveNet không tự hồi quy được đào tạo như một mạng tạo đối thủ. Thay vì dự đoán từng mẫu âm thanh tại một thời điểm như WaveNet ban đầu, nó tạo ra toàn bộ dạng sóng song song, khiến tốc độ nhanh hơn đáng kể. Công thức chính của nó kết hợp sự mất mát đối nghịch với sự mất mát biến đổi Fourier thời gian ngắn (STFT) đa độ phân giải, do đó mô hình khớp với tín hiệu thực trên nhiều thang thời gian và tần số. Kết quả là một bộ tạo nhỏ (khoảng 1,4 triệu tham số) chạy nhanh hơn nhiều lần so với thời gian thực trên GPU.

Triển khai trong thế giới thực

Đầu ra giọng nói theo thời gian thực trong trợ lý giọng nói di động nơi độ trễ và kích thước mô hình đóng vai trò quan trọng

Đóng vai trò là bộ tạo dạng sóng được ghép nối với các mẫu âm thanh như Tacotron 2 hoặc FastSpeech

Tính năng chuyển văn bản thành giọng nói trên thiết bị dành cho các công cụ trợ năng không thể dựa vào đám mây

Hệ thống chuyển đổi giọng nói tổng hợp lại các biểu đồ phổ đã chuyển đổi thành âm thanh tự nhiên

Tương lai của Bộ mã hóa WaveGAN song song

Parallel WaveGAN đã giúp thiết lập bộ phát âm GAN làm mặc định thực tế và hiện tượng mất STFT đa độ phân giải của nó hiện xuất hiện trên các hệ thống kế thừa như HiFi-GAN và nhiều hệ thống phát trực tuyến. Quỹ đạo hướng tới các bộ phát âm nhỏ hơn bao giờ hết, có độ trễ thấp hơn dành cho trợ lý trên thiết bị, máy trợ thính và chuyển đổi giọng nói trực tiếp, cùng với các bộ phát âm phổ quát dành cho những người nói không nhìn thấy được. Mong đợi sự tích hợp chặt chẽ hơn với TTS đầu cuối và triển khai hiệu quả trên chip di động và chip nhúng.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
  • Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
  • Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.

coi chừng

  • Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
  • Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
  • Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.

Các bước tiếp theo

  1. Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
  2. Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
  3. Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
  4. Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Parallel WaveGAN Vocoder quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

What is Parallel WaveGAN Vocoder?

Parallel WaveGAN là một bộ mã hóa thần kinh nhanh, biến biểu đồ mel thành dạng sóng âm thanh thô bằng cách sử dụng GAN nhỏ, tạo ra tất cả các mẫu cùng một lúc. Điều này quan trọng vì nó mang lại giọng nói chất lượng cao, gần như theo thời gian thực với một mô hình nhỏ gọn.

Công việc của một bộ phát âm như Parallel WaveGAN là gì?

Bộ mã hóa âm thanh là giai đoạn TTS cuối cùng tổng hợp sóng âm thanh thực tế từ các đặc điểm âm thanh như biểu đồ mel.

Parallel WaveGAN tạo các mẫu âm thanh như thế nào so với WaveNet ban đầu?

Parallel WaveGAN không tự hồi quy, tạo ra toàn bộ dạng sóng cùng một lúc thay vì lấy mẫu theo mẫu, điều này giúp tốc độ nhanh hơn nhiều.

Sự mất mát nào là trọng tâm của Parallel WaveGAN bên cạnh sự mất mát đối nghịch?

Nó kết hợp tổn thất đối nghịch với tổn thất STFT đa độ phân giải để so sánh cường độ biểu đồ phổ ở nhiều tỷ lệ.

Trình tạo Parallel WaveGAN sử dụng kiến trúc nào?

Trình tạo là một mạng giống như WaveNet được xây dựng từ các tổ hợp giãn nở, dựa trên biểu đồ mel và nhiễu.

Tại sao Parallel WaveGAN lại hấp dẫn để triển khai?

Với khoảng 1,4 triệu tham số, nó nhỏ gọn và chạy nhanh hơn nhiều lần so với thời gian thực, lý tưởng để sử dụng trên thiết bị.