TTS có thể điều khiển cao độ FastPitch
FastPitch là mô hình chuyển văn bản thành giọng nói nhanh, không tự động hồi quy, dự đoán rõ ràng cao độ (tần số cơ bản) của mọi mã thông báo đầu vào, cho phép bạn chỉnh sửa ngữ điệu và sự nhấn mạnh bằng cách mở rộng các dự đoán đó.
Tổng quan
Nó quan trọng vì nó tạo ra một phổ mel đầy đủ song song — nhanh hơn nhiều so với các mô hình tuần tự cũ — đồng thời cho phép kiểm soát trực tiếp, dễ hiểu giai điệu giọng hát.
Lặn sâu
FastPitch, được NVIDIA giới thiệu vào năm 2020, xây dựng trên kiến trúc FastSpeech song song bằng cách thêm một công cụ dự đoán cao độ rõ ràng. Đối với mỗi âm vị hoặc ký tự đầu vào, nó dự đoán một giá trị tần số cơ bản, sau đó điều chỉnh bộ giải mã mel-Spectrogram trên đường viền cao độ đó. Vì cao độ là một tín hiệu riêng biệt mà con người có thể đọc được nên bạn có thể nhân nó, dịch chuyển hoặc chỉnh sửa thủ công trước khi tổng hợp để thay đổi sự nhấn mạnh, làm cho âm thanh lời nói sống động hơn hoặc sửa cách phát âm đều — mà không cần đào tạo lại. Toàn bộ biểu đồ phổ được tạo ra trong một lần chuyển tiếp duy nhất (không tự hồi quy), do đó, việc tạo ra nhanh hơn khoảng một bậc so với các mô hình tự hồi quy như Tacotron 2 và cường độ dự đoán cũng cải thiện độ tự nhiên tổng thể.
Hiểu biết kỹ thuật
FastPitch tính trung bình tần số cơ bản thực tế trong khoảng thời gian của mỗi mã thông báo trong quá trình huấn luyện, do đó, bộ dự đoán sẽ học một giá trị cao độ trên mỗi ký hiệu thay vì trên mỗi khung hình — khiến việc điều khiển trở nên thô sơ nhưng trực quan. Khi suy luận, cường độ trên mỗi mã thông báo đó được phát trong khoảng thời gian dự đoán của mã thông báo và được thêm dưới dạng tín hiệu điều hòa cho bộ giải mã dựa trên máy biến áp. Do không có vòng phản hồi tự hồi quy nên tất cả các khung hình đầu ra đều được tính toán đồng thời trên phần cứng song song, loại bỏ việc tích lũy lỗi và tốc độ chậm của bộ giải mã từng bước.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của TTS có thể điều khiển cao độ FastPitch
Triết lý kiểm soát rõ ràng của FastPitch đang tác động đến các hệ thống mới hơn hiển thị năng lượng, thời lượng và cảm xúc dưới dạng tín hiệu có thể chỉnh sửa cùng với cao độ, mang đến cho người sáng tạo một giao diện bảng trộn cho giọng nói. Mong đợi sự tích hợp chặt chẽ hơn với các bộ phát âm thần kinh như HiFi-GAN cho các đường dẫn thời gian thực từ đầu đến cuối, khả năng kiểm soát cao độ ở mức khung hình tốt hơn để tổng hợp giọng hát cũng như các biến thể đa ngôn ngữ và nhiều loa. Khi TTS có thể kiểm soát lan rộng vào các ứng dụng trực tiếp, việc triển khai trên thiết bị có độ trễ thấp và chuyển giao phong cách biểu cảm sẽ là những hướng đi chính.
Triển khai trong thế giới thực
Cho phép các nhà thiết kế trợ lý giọng nói tăng cường độ cao độ của các từ khóa để câu trả lời bằng giọng nói nghe có vẻ nhấn mạnh hơn
Tạo giọng hát hoặc lời nói du dương bằng cách chỉnh sửa thủ công tần số cơ bản trên mỗi nốt nhạc
Tường thuật thời gian thực trong các công cụ cần tổng hợp nhiều dòng nhanh chóng do giải mã song song
Sửa lỗi phân phối phẳng hoặc tự động trong các thông báo tổng hợp bằng cách chia tỷ lệ đường viền cao độ dự đoán
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the FastPitch Pitch-Controllable TTS quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tổng hợp tự hồi quy TTS Rùa
Câu hỏi thường gặp
TTS điều khiển cao độ FastPitch là gì?
FastPitch là mô hình chuyển văn bản thành giọng nói nhanh, không tự động hồi quy, dự đoán rõ ràng cao độ (tần số cơ bản) của mọi mã thông báo đầu vào, cho phép bạn chỉnh sửa ngữ điệu và sự nhấn mạnh bằng cách mở rộng các dự đoán đó. Điều này quan trọng vì nó tạo ra một biểu đồ mel-spectrogram đầy đủ song song — nhanh hơn nhiều so với các mô hình tuần tự cũ — đồng thời mang lại khả năng kiểm soát trực tiếp, dễ hiểu đối với giai điệu giọng nói.
FastPitch dự đoán rõ ràng tín hiệu bổ sung nào cho từng mã thông báo đầu vào?
FastPitch bổ sung một bộ dự đoán cường độ tạo ra một giá trị tần số cơ bản cho mỗi mã thông báo đầu vào, được sử dụng để điều chỉnh bộ giải mã ảnh phổ.
Làm thế nào FastPitch tạo ra mel-Spectrogram nhanh như vậy?
FastPitch không tự hồi quy: nó tính toán đồng thời tất cả các khung hình đầu ra thay vì từng bước một, khiến nó nhanh hơn nhiều so với các mô hình tự hồi quy.
Làm cách nào người dùng có thể thay đổi điểm nhấn trong đầu ra FastPitch mà không cần đào tạo lại?
Bởi vì cao độ là một tín hiệu rõ ràng, riêng biệt nên việc nhân hoặc chỉnh sửa bằng tay đường viền cao độ được dự đoán sẽ trực tiếp làm thay đổi sự nhấn mạnh và sự sống động.
Trong quá trình đào tạo, mục tiêu quảng cáo chiêu hàng được chỉ định cho mỗi mã thông báo như thế nào?
FastPitch tính trung bình tần số cơ bản thực tế trên mỗi khung của mã thông báo, do đó mô hình sẽ học một giá trị cao độ trực quan cho mỗi ký hiệu.
Mô hình cũ nào FastPitch nhanh hơn đáng kể nhờ tránh tự hồi quy?
Tacotron 2 giải mã tự động, từng khung hình; Giải mã song song của FastPitch làm cho nó nhanh hơn rất nhiều.