Bộ phát âm thần kinh
Bộ phát âm thần kinh là một mô hình biến biểu diễn âm thanh nhỏ gọn, thường là biểu đồ mel, thành dạng sóng âm thanh thực tế.
Tổng quan
It is the final stage that gives modern text-to-speech and voice cloning their natural, human sound.
Lặn sâu
Tổng hợp giọng nói truyền thống sử dụng bộ phát âm xử lý tín hiệu thường phát ra âm thanh ồn ào hoặc giống robot. Các nhà phát âm thần kinh học cách tái tạo lại các mẫu âm thanh thô từ một quang phổ bằng cách huấn luyện trong nhiều giờ ghi âm thực. WaveNet (DeepMind, 2016) là bước đột phá, dự đoán từng mẫu âm thanh ở mức hơn 16.000 mẫu mỗi giây, tạo ra giọng nói cực kỳ tự nhiên nhưng rất chậm. Các mô hình sau này đã thay đổi nút cổ chai tự hồi quy đó để lấy tốc độ: WaveGlow sử dụng tính năng tạo dựa trên luồng, Parallel WaveGAN và MelGAN sử dụng mạng đối kháng tổng hợp và HiFi-GAN trở thành tiêu chuẩn phổ biến bằng cách tạo ra âm thanh 22kHz có độ trung thực cao nhanh hơn nhiều so với thời gian thực. Ngày nay, bộ mã hóa hầu như luôn là nửa sau của quy trình hai giai đoạn, được ghép nối với một mẫu âm thanh như Tacotron 2 hoặc FastSpeech để tạo ra biểu đồ mel.
Hiểu biết kỹ thuật
Biểu đồ mel sẽ loại bỏ thông tin pha của âm thanh, chỉ giữ lại cách phân bổ năng lượng trên các dải tần theo thời gian. Công việc khó khăn của người phát âm là phát minh ra một dạng sóng mạch lạc, hợp lý có phổ cường độ phù hợp với đầu vào đó. Bộ phát âm dựa trên GAN như HiFi-GAN sử dụng nhiều bộ phân biệt để kiểm tra tín hiệu ở các thang đo và chu kỳ khác nhau, thúc đẩy bộ tạo tạo ra các chi tiết chân thực, tinh tế như hài âm và độ chuyển tiếp sắc nét của phụ âm.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của bộ phát âm thần kinh
Bộ mã hóa ngày càng nhỏ hơn và nhanh hơn để chúng có thể chạy trên điện thoại và thiết bị nhúng mà không cần kết nối đám mây. Ngoài ra còn có sự thúc đẩy hướng tới các bộ phát âm phổ quát có thể khái quát hóa cho mọi người nói, ngôn ngữ, tiếng hát hoặc thậm chí cả âm thanh không phải lời nói mà không cần đào tạo lại. Một xu hướng song song gấp bộ phát âm trực tiếp vào các hệ thống đầu cuối và bộ giải mã thần kinh, làm mờ ranh giới giữa các giai đoạn âm thanh và dạng sóng riêng biệt, đồng thời giảm các hiện vật được tạo ra khi truyền qua biểu đồ phổ trung gian.
Triển khai trong thế giới thực
Tạo âm thanh giọng nói cuối cùng trong các trợ lý chuyển văn bản thành giọng nói như trình đọc màn hình và ứng dụng điều hướng
Tạo giọng nói nhân bản có âm thanh tự nhiên trong các công cụ tường thuật lồng tiếng và sách nói
Tái tạo giọng hát trong nhạc AI và phần mềm hát ảo
Cấp nguồn cho đầu ra giọng nói trên thiết bị cho loa thông minh và thiết bị hỗ trợ tiếp cận mà không cần quay vòng máy chủ
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Vocoders quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Bộ mã hóa HiFi-GAN và GAN
Câu hỏi thường gặp
What is Neural Vocoders?
Bộ phát âm thần kinh là một mô hình biến biểu diễn âm thanh nhỏ gọn, thường là biểu đồ mel, thành dạng sóng âm thanh thực tế. Đây là giai đoạn cuối cùng giúp tính năng chuyển văn bản thành giọng nói và giọng nói hiện đại bắt chước âm thanh tự nhiên của con người.
Công việc chính của một bộ phát âm thần kinh là gì?
Bộ phát âm thần kinh có đặc điểm âm thanh nhỏ gọn, điển hình là biểu đồ mel và tổng hợp dạng sóng âm thanh thô thực tế mà bạn nghe thấy.
Mẫu nào năm 2016 là bước đột phá giúp bộ phát âm thần kinh phát ra âm thanh tự nhiên?
WaveNet, từ DeepMind vào năm 2016, đã tạo ra từng mẫu âm thanh và tạo ra giọng nói cực kỳ tự nhiên, khởi đầu kỷ nguyên bộ phát âm thần kinh.
Tại sao WaveNet ban đầu tạo âm thanh chậm?
WaveNet có tính tự hồi quy: mỗi mẫu âm thanh phụ thuộc vào các mẫu trước đó, do đó, việc tạo ra hàng chục nghìn mẫu mỗi giây rất tốn kém về mặt tính toán.
Thông tin nào mà mel-spectrogram đặc biệt loại bỏ, khiến nhiệm vụ của người phát âm trở nên khó khăn hơn?
Biểu đồ phổ Mel giữ cường độ (năng lượng trên mỗi dải tần số) nhưng giảm pha, do đó bộ phát âm phải tái tạo lại dạng sóng kết hợp có pha hợp lý.
Các bộ phát âm dựa trên GAN như HiFi-GAN cải thiện tính hiện thực như thế nào?
HiFi-GAN sử dụng một số bộ phân biệt để kiểm tra các thang thời gian và chu kỳ khác nhau, thúc đẩy bộ tạo tạo ra các sóng hài và chuyển tiếp thực tế.