Tổng quan
NaturalSpeech là một dòng nghiên cứu của Microsoft TTS hướng đến chất lượng giọng nói ở cấp độ con người, với các phiên bản sau này sử dụng khả năng khuếch tán tiềm ẩn để tạo ra giọng nói tự nhiên, phong phú. Nó cho thấy các mô hình khuếch tán, nổi tiếng với hình ảnh, có thể tạo ra âm thanh biểu cảm và có thể kiểm soát được như thế nào.
TTS NaturalSpeech và Tiềm ẩn nằm trong quy trình làm việc về âm thanh-AI giúp biến đổi lời nói, âm nhạc và âm thanh để giao tiếp, khả năng tiếp cận và sản xuất phương tiện truyền thông.
Lặn sâu
NaturalSpeech ban đầu (2022) là hệ thống đầu tiên được báo cáo là đạt chất lượng ngang bằng con người trên điểm chuẩn LJSpeech, được đánh giá bởi những người nghe không thể phân biệt một cách đáng tin cậy với bản ghi âm thực. Nó sử dụng một bộ mã hóa tự động đa dạng với các ưu tiên được đối sánh cẩn thận để thu hẹp khoảng cách giữa đào tạo và suy luận. Sau đó, NaturalSpeech 2 đã áp dụng phương pháp khuếch tán tiềm ẩn: lời nói được mã hóa bằng bộ giải mã âm thanh thần kinh thành các vectơ tiềm ẩn liên tục và mô hình khuếch tán sẽ học cách tạo ra các vectơ tiềm ẩn đó từ văn bản, cho phép sao chép giọng nói mạnh mẽ bằng zero-shot từ một dấu nhắc ngắn. NaturalSpeech 3 đã giới thiệu tính năng khuếch tán theo hệ số, tách lời nói thành các thuộc tính rời rạc như nội dung, nhịp điệu, âm sắc và chi tiết âm học, để mỗi thuộc tính có thể được mô hình hóa và kiểm soát độc lập để có độ trung thực và tính linh hoạt cao hơn.
Hiểu biết kỹ thuật
Khuếch tán tiềm ẩn hoạt động bằng cách thêm tiếng ồn vào một biểu diễn giọng nói tiềm ẩn nhỏ gọn và huấn luyện mạng để đảo ngược tiếng ồn đó từng bước. Thay vì khử nhiễu các dạng sóng thô hoặc biểu đồ phổ đầy đủ, NaturalSpeech 2 khử nhiễu các tiềm ẩn codec, có chiều thấp hơn và dễ mô hình hóa hơn. Việc điều chỉnh văn bản và lời nhắc bằng giọng nói tham chiếu sẽ điều khiển quá trình khuếch tán ngược lại, do đó, tiềm ẩn được lấy mẫu cuối cùng sẽ giải mã thành giọng nói phù hợp với nội dung được yêu cầu và nhận dạng người nói.
Làm chủ giọng nói tự nhiên và TTS khuếch tán tiềm ẩn
NaturalSpeech là một dòng nghiên cứu của Microsoft TTS hướng đến chất lượng giọng nói ở cấp độ con người, với các phiên bản sau này sử dụng khả năng khuếch tán tiềm ẩn để tạo ra giọng nói tự nhiên, phong phú. Nó cho thấy các mô hình khuếch tán, nổi tiếng với hình ảnh, có thể tạo ra âm thanh biểu cảm và có thể kiểm soát được như thế nào. TTS NaturalSpeech và Tiềm ẩn nằm trong quy trình làm việc về âm thanh-AI giúp biến đổi lời nói, âm nhạc và âm thanh để giao tiếp, khả năng tiếp cận và sản xuất phương tiện truyền thông. Để xây dựng sự hiểu biết sâu sắc, hãy coi TTS Tự nhiên và Khuếch tán Tiềm ẩn như một mô hình hoạt động chứ không phải một tính năng duy nhất: xác định kết quả mong muốn, làm rõ các giả định và tách biệt những gì hệ thống có thể thực hiện một cách đáng tin cậy với những gì vẫn cần đến sự đánh giá của chuyên gia.
Trong thực tế, các nhóm mạnh sử dụng TTS NaturalSpeech và Tiềm ẩn khuếch tán coi chất lượng, độ trễ và sự đồng ý là những phần quan trọng như nhau trong chiến lược triển khai. Họ ghi lại các tiêu chí thành công rõ ràng, kiểm tra dựa trên dữ liệu và quy trình làm việc thực tế, đồng thời lặp lại dựa trên các kiểu thất bại được quan sát thay vì chiến thắng điểm chuẩn một lần. Đây là nơi sự hiểu biết về mặt lý thuyết biến thành khả năng bền vững trên toàn bộ sản phẩm, chính sách và hoạt động.
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói. Đồng thời, nguy cơ lạm dụng giọng nói và mạo danh sẽ tăng lên khi không có sự đồng ý. Cách tiếp cận linh hoạt nhất là kết hợp tốc độ thử nghiệm với kỷ luật quản trị: chạy thử nghiệm, thu thập bằng chứng, xuất bản nhật ký quyết định và liên tục cập nhật các biện pháp bảo vệ khi hành vi của mô hình, kỳ vọng của người dùng và các yêu cầu pháp lý phát triển.
Tác động chiến lược
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Triển khai trong thế giới thực
Các xưởng lồng tiếng sao chép giọng nói của diễn viên từ một đoạn mẫu ngắn để bản địa hóa phim bằng cách sử dụng phương pháp nhân bản không cảnh quay theo kiểu NaturalSpeech 2.
Nền tảng sách nói tạo ra lời tường thuật ở cấp độ con người mà người nghe khó có thể phân biệt được với tài năng giọng nói thực sự.
Các công cụ trợ năng tái tạo giọng nói của chính một người từ các bản ghi âm cũ cho những người bị mất giọng nói.
Bộ tạo nội dung cho phép người chỉnh sửa điều chỉnh âm sắc và giai điệu một cách độc lập, tận dụng các thuộc tính được phân tích của NaturalSpeech 3.
Các mẫu triển khai
TTS Tự nhiên và Khuếch tán Tiềm ẩn trong thực tế
Các xưởng lồng tiếng sao chép giọng nói của diễn viên từ một đoạn mẫu ngắn để bản địa hóa phim bằng cách sử dụng phương pháp nhân bản không cảnh quay theo kiểu NaturalSpeech 2.
Các xưởng lồng tiếng sao chép giọng nói của diễn viên từ một mẫu ngắn để bản địa hóa phim, sử dụng nhân bản không cảnh quay theo kiểu NaturalSpeech 2. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
TTS Tự nhiên và Khuếch tán Tiềm ẩn trong thực tế
Nền tảng sách nói tạo ra lời tường thuật ở cấp độ con người mà người nghe khó có thể phân biệt được với tài năng giọng nói thực sự.
Nền tảng sách nói tạo ra lời tường thuật ở cấp độ con người mà người nghe gặp khó khăn trong việc phân biệt với tài năng giọng nói thực. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
TTS Tự nhiên và Khuếch tán Tiềm ẩn trong thực tế
Các công cụ trợ năng tái tạo giọng nói của chính một người từ các bản ghi âm cũ cho những người bị mất giọng nói.
Các công cụ trợ năng tái tạo giọng nói của chính một người từ các bản ghi âm cũ cho những người bị mất giọng nói. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
TTS Tự nhiên và Khuếch tán Tiềm ẩn trong thực tế
Bộ tạo nội dung cho phép người chỉnh sửa điều chỉnh âm sắc và giai điệu một cách độc lập, tận dụng các thuộc tính được phân tích của NaturalSpeech 3.
Bộ tạo nội dung cho phép người chỉnh sửa điều chỉnh âm sắc và giai điệu một cách độc lập, tận dụng các thuộc tính được tính toán của NaturalSpeech 3. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, theo dõi lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.