WaveNet
WaveNet, được DeepMind giới thiệu vào năm 2016, là một mạng lưới thần kinh mang tính đột phá, tạo ra từng mẫu âm thanh thô một lần, tạo ra lời nói và âm nhạc tự nhiên một cách ấn tượng.
Tổng quan
It set the modern standard for high-fidelity text-to-speech.
Lặn sâu
WaveNet là một mô hình tạo tự hồi quy: nó dự đoán từng mẫu âm thanh được điều chỉnh trên tất cả các mẫu trước nó, thường ở mức 16.000 hoặc 24.000 mẫu mỗi giây. Sự đổi mới cốt lõi của nó là một tập hợp các kết cấu nhân quả giãn nở. Nhân quả có nghĩa là mô hình chỉ nhìn ngược thời gian, bảo toàn trật tự thế hệ; sự giãn nở có nghĩa là mỗi lớp bỏ qua số lượng mẫu tăng theo cấp số nhân, do đó, một ngăn xếp khiêm tốn có thể bao phủ hàng nghìn mẫu (trường tiếp nhận rộng) mà không tốn nhiều chi phí. Dựa trên các đặc điểm ngôn ngữ hoặc biểu đồ mel, WaveNet tạo ra giọng nói tự nhiên hơn nhiều so với các bộ phát âm nối và tham số trước đó, thu hẹp nhiều khoảng cách so với bản ghi âm của con người và cung cấp năng lượng cho các phiên bản đầu tiên của Trợ lý Google.
Hiểu biết kỹ thuật
Tích chập giãn là thủ thuật chính: với tốc độ giãn nở là 1, 2, 4, 8, v.v., một mạng chỉ sâu hàng chục lớp có thể tham dự hàng nghìn mẫu trước đây, thu được cả chi tiết dạng sóng mịn và cấu trúc nhịp điệu dài hơn. Đầu ra mô hình hóa giá trị của mỗi mẫu dưới dạng phân phối phân loại (ban đầu là 256 cấp độ thông qua việc nén theo luật mu) và các đơn vị kích hoạt có kiểm soát cộng với các kết nối dư và bỏ qua sẽ ổn định quá trình đào tạo của ngăn xếp rất sâu này.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của WaveNet
WaveNet ban đầu chậm vì việc lấy mẫu diễn ra tuần tự. Những người kế nhiệm đã khắc phục điều này: Parallel WaveNet và WaveRNN cho phép tổng hợp thời gian thực và sau này là các bộ phát âm dựa trên luồng và GAN như WaveGlow và HiFi-GAN, cùng với các bộ phát âm khuếch tán, đã đẩy chất lượng và tốc độ lên cao hơn nữa. Các ý tưởng tự hồi quy, tích chập giãn nở của WaveNet vẫn tồn tại trong các hệ thống này và ảnh hưởng đến các kiến trúc ngoài âm thanh, củng cố di sản của nó trong mô hình tổng quát.
Triển khai trong thế giới thực
Tạo giọng nói có âm thanh tự nhiên cho Google Trợ lý và Google Chuyển văn bản thành giọng nói trên đám mây
Hoạt động như một bộ phát âm thần kinh biến các biểu đồ mel thành dạng sóng trong các đường ống TTS như Tacotron 2
Tổng hợp nhạc piano và nhạc cụ chân thực từ âm thanh thô
Tổng hợp giọng nói cho các công cụ trợ năng và tường thuật sách nói
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WaveNet quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Phát hiện deepfake âm thanh
Câu hỏi thường gặp
What is WaveNet?
WaveNet, được DeepMind giới thiệu vào năm 2016, là một mạng lưới thần kinh mang tính đột phá, tạo ra từng mẫu âm thanh thô một lần, tạo ra lời nói và âm nhạc tự nhiên một cách ấn tượng. Nó đặt ra tiêu chuẩn hiện đại cho tính năng chuyển văn bản thành giọng nói có độ trung thực cao.
WaveNet tạo ra âm thanh như thế nào?
WaveNet có tính tự hồi quy: nó dự đoán từng mẫu âm thanh dựa trên các mẫu có trước nó.
Sự đổi mới tích chập quan trọng trong WaveNet là gì?
Các tích chập nhân quả giãn nở cho phép mạng bao phủ hàng nghìn mẫu trong quá khứ một cách hiệu quả trong khi chỉ nhìn ngược thời gian.
Tại sao sự giãn nở lại giúp WaveNet?
Tốc độ giãn nở tăng theo cấp số nhân mang lại trường tiếp nhận rộng trên hàng nghìn mẫu với tương đối ít lớp.
Hạn chế thực tế lớn của WaveNet ban đầu là gì?
Bởi vì mỗi mẫu phụ thuộc vào các mẫu trước đó nên việc tạo là tuần tự và do đó chậm, thúc đẩy Parallel WaveNet và các mẫu kế tiếp khác.
Trong quá trình chuyển văn bản thành giọng nói, WaveNet thường đóng vai trò gì?
WaveNet có thể lấy biểu đồ mel (ví dụ: từ Tacotron 2) và tạo ra dạng sóng âm thanh tự nhiên cuối cùng.