Tiếp theoHướng dẫn tiếp theo
Tổng hợp chuyển văn bản thành âm thanh AudioGen
AI âm thanh
HƯỚNG DẪN AI âm thanh
Tổng hợp âm thanh có thể phân biệt DDSP
DDSP (Xử lý tín hiệu số có thể phân biệt) kết hợp các khối xây dựng bộ tổng hợp cổ điển với mạng thần kinh, do đó, học sâu có thể điều khiển trực tiếp bộ dao động và bộ lọc.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó tạo ra âm thanh nhạc cụ có thể điều khiển, tự nhiên một cách ấn tượng với các mô hình nhỏ và ít dữ liệu.
Lặn sâu
DDSP, được nhóm Magenta của Google giới thiệu vào năm 2020, xem xét lại việc tạo âm thanh thần kinh. Thay vì mạng dự đoán từng mẫu âm thanh thô (như WaveNet) hoặc pixel của biểu đồ phổ, DDSP tạo ra các thành phần DSP truyền thống — bộ dao động phụ gia hài hòa, bộ tạo nhiễu được lọc và hồi âm — có thể phân biệt được. Điều đó có nghĩa là độ dốc có thể chảy qua chúng trong quá trình đào tạo, do đó, một mạng lưới thần kinh nhỏ sẽ học cách xuất ra các tín hiệu điều khiển có thể hiểu được: cao độ cơ bản, âm lượng tổng thể và biên độ của hàng chục sóng hài theo thời gian. Sau đó, bộ tổng hợp sẽ hiển thị âm thanh thực tế từ các điều khiển này. Vì đặc tính vật lý của âm thanh được đưa vào kiến trúc chứ không phải học từ đầu, nên DDSP đạt được chất lượng cao với ít thông số và ví dụ huấn luyện hơn, đồng thời cho phép người dùng điều khiển cao độ, âm lượng và âm sắc một cách độc lập — thậm chí thực hiện chuyển đổi âm sắc, chẳng hạn như tạo giọng hát khi chơi đàn violin.
Triển khai trong thế giới thực
Các công cụ chuyển âm sắc lấy giai điệu ngân nga hoặc hát và kết xuất lại dưới dạng violin, sáo hoặc kèn trong thời gian thực.
Các plugin tổng hợp thần kinh nhẹ mà các nhạc sĩ điều khiển bằng các nút chỉnh cao độ, âm lượng và độ sáng trực quan.
Hiệu chỉnh cao độ và tái tổng hợp biểu cảm của các nhạc cụ đã ghi trong khi vẫn giữ được chi tiết hài hòa tự nhiên.
Bản demo âm nhạc tương tác dựa trên trình duyệt tạo ra âm thanh nhạc cụ chân thực mà không cần mô hình GPU nặng.
Tương lai của tổng hợp âm thanh khác biệt DDSP
DDSP đang thúc đẩy các công cụ thần kinh và hiệu ứng âm thanh theo thời gian thực, có độ trễ thấp chạy trên phần cứng khiêm tốn, bao gồm cả trong trình duyệt và trên các thiết bị nhúng. Bộ điều khiển có thể hiểu được của nó khiến nó trở nên lý tưởng cho các công cụ biểu diễn biểu cảm và bộ tổng hợp kết hợp nơi các nhạc sĩ quay số âm sắc trực tiếp. Các nhà nghiên cứu đang mở rộng ý tưởng DSP có thể phân biệt sang mô hình vật lý, âm thanh trong phòng và chuỗi sản xuất âm thanh đầy đủ, kết hợp khả năng kiểm soát của quá trình xử lý tín hiệu cổ điển với tính hiện thực của deep learning trong quá trình sáng tạo âm nhạc và thiết kế âm thanh.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the DDSP Differentiable Audio Synthesis quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Tổng hợp âm thanh khác biệt DDSP là gì?
DDSP (Xử lý tín hiệu số có thể phân biệt) kết hợp các khối xây dựng bộ tổng hợp cổ điển với mạng thần kinh, do đó, học sâu có thể điều khiển trực tiếp bộ dao động và bộ lọc. Nó tạo ra âm thanh nhạc cụ có thể điều khiển, tự nhiên một cách ấn tượng với các mô hình nhỏ và ít dữ liệu.
Sự đổi mới quan trọng đằng sau DDSP là gì?
DDSP biến các khối xây dựng bộ tổng hợp truyền thống thành các mô-đun có thể phân biệt được, cho phép mạng nơ-ron học cách kiểm soát chúng thông qua lan truyền ngược.
Trong DDSP, mạng lưới thần kinh thực sự xuất ra cái gì?
Mạng dự đoán các tham số điều khiển thay đổi theo thời gian và một bộ tổng hợp khác biệt riêng biệt sẽ kết xuất âm thanh từ chúng — mạng không bao giờ xuất trực tiếp các mẫu.
Bộ tổng hợp quang phổ của DDSP kết hợp hai thành phần tạo âm thanh cốt lõi nào?
Bộ tạo dao động phụ gia hài hòa tạo ra phần cao độ, hài hòa trong khi tiếng ồn được lọc bổ sung thêm hơi thở và kết cấu không hài hòa.
Tại sao DDSP có thể đạt được chất lượng cao với các mô hình tương đối nhỏ và ít dữ liệu?
Do cấu trúc xử lý tín hiệu đã biết được tích hợp sẵn chứ không phải học từ đầu nên mạng ít phải học hơn, cải thiện hiệu suất dữ liệu và tham số.
DDSP sử dụng chức năng mất mát nào để so sánh âm thanh được tạo và âm thanh đích một cách rõ ràng?
Việc so sánh các biểu đồ phổ cường độ ở nhiều độ phân giải rất hiệu quả đối với sự khác biệt về pha, điều mà sự thất thoát ở cấp độ mẫu gặp khó khăn.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này