Tiếp theoHướng dẫn tiếp theo
Hiệu ứng âm thanh thần kinh và mô hình khuếch đại guitar
AI âm thanh
HƯỚNG DẪN AI âm thanh
Mô hình điệu điệu
Prosody modeling concerns features such as pitch, duration, energy and emphasis that shape how speech is delivered.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Text-to-speech systems can model these variables to produce different valid spoken realizations of the same text.
Lặn sâu
Prosody includes pitch movement, duration, energy and stress. FastSpeech 2 models pitch, energy and duration as conditional inputs to help address the one-to-many mapping from text to speech. Research on prosody transfer shows a synthesizer can condition its output on a reference acoustic representation to reproduce aspects of the reference’s prosody, including when the reference and output speakers differ. A corpus study of 410 naturally occurring American-English yes/no questions found varied intonation contours; the most frequent nuclear contour in that corpus was a low-rise. These findings are scoped to their task, speakers and language variety.
Triển khai trong thế giới thực
Predicting phoneme duration and pitch in a text-to-speech system.
Using reference audio to condition a synthesized utterance on a target prosodic pattern.
Testing how emphasis changes focus interpretation in a spoken sentence.
Measuring question contours on a defined speech corpus rather than assuming a universal intonation rule.
Tương lai của mô hình Prosody
Evaluate synthesized prosody on target speakers, languages and discourse contexts. A contour that is common in one corpus or dialect need not be universal, and reference transfer should be assessed for both the intended delivery and speaker identity.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Prosody Modeling quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Prosody Modeling?
Prosody modeling concerns features such as pitch, duration, energy and emphasis that shape how speech is delivered. Text-to-speech systems can model these variables to produce different valid spoken realizations of the same text.
Tập hợp đặc điểm nào mô tả đúng nhất ngữ điệu trong lời nói?
Thi pháp đề cập đến các đặc tính siêu phân đoạn của lời nói, ngữ điệu (cao độ), nhịp điệu và thời lượng, trọng âm và năng lượng (độ to), đi kèm với các từ.
Trong mô hình ngữ điệu, tần số cơ bản (F0) đại diện cho điều gì?
F0 là tần số cơ bản của giọng nói, tốc độ rung của dây thanh âm mà chúng ta nghe được dưới dạng cao độ hoặc giai điệu của giọng nói.
FastSpeech 2 đã cải thiện khả năng kiểm soát ngữ điệu như thế nào so với các mẫu trước đó?
FastSpeech 2 đã giới thiệu một bộ chuyển đổi phương sai có thể dự đoán rõ ràng thời lượng, cao độ và năng lượng, mang lại khả năng kiểm soát nhịp điệu trực tiếp và ổn định hơn so với sự chú ý thuần túy ngầm.
Tại sao việc dự đoán nhịp điệu chỉ từ văn bản lại được coi là vấn đề một-nhiều?
Những từ giống nhau có thể được truyền tải theo vô số cách tùy thuộc vào ý định và cảm xúc, vì vậy các mô hình phải chọn trong số nhiều cách đọc có nhịp điệu hợp lệ thay vì tính toán một câu trả lời duy nhất.
In a corpus of 410 naturally occurring American-English yes/no questions, which nuclear contour was most frequent?
The cited corpus study reports that the low-rise nuclear contour was the most frequent pattern in its sample of 410 naturally occurring American-English yes/no questions; this is not a universal rule.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này