Mô hình điệu điệu
Mô hình ngữ điệu dạy cho máy móc giai điệu của lời nói, nhịp điệu, cao độ, trọng âm và nhịp độ phụ thuộc vào từ ngữ.
Tổng quan
It is what separates a flat robotic voice from one that sounds genuinely human.
Lặn sâu
Thi pháp là âm nhạc của ngôn ngữ: sự lên xuống của cao độ (ngữ điệu), âm thanh được giữ trong bao lâu (thời lượng), độ to (năng lượng) và nơi nhấn mạnh. Những tín hiệu này mang ý nghĩa riêng của các từ thì không, báo hiệu câu hỏi hay câu phát biểu, sự mỉa mai, sự khẩn cấp hoặc từ nào là quan trọng. Các hệ thống chuyển văn bản thành giọng nói hiện đại mô hình hóa nhịp điệu bằng mạng lưới thần kinh dự đoán đường nét cao độ, thời lượng âm vị và năng lượng từ văn bản. Tacotron 2 đã ngầm học được phần lớn điều này thông qua sự chú ý, trong khi FastSpeech 2 làm rõ điều này bằng cách dự đoán thời lượng, cao độ và năng lượng dưới dạng các tính năng có thể huấn luyện riêng biệt. Âm điệu tốt phụ thuộc vào ngữ cảnh mà hệ thống không thể có được chỉ từ dấu câu, đó là lý do tại sao các mô hình ngày càng sử dụng các câu xung quanh và thậm chí cả âm thanh tham chiếu để đặt âm điệu phù hợp.
Hiểu biết kỹ thuật
Cao độ được theo dõi dưới dạng tần số cơ bản (F0) của giọng nói, tốc độ rung của dây thanh âm. Các mô hình như FastSpeech 2 thêm một bộ điều hợp phương sai dự đoán thời lượng F0, năng lượng và mỗi âm vị dưới dạng các luồng riêng biệt, sau đó điều chỉnh bộ giải mã biểu đồ phổ trên chúng. Vì văn bản không xác định được ngữ điệu (một câu có nhiều cách đọc hợp lệ), nên đây là vấn đề một-nhiều, nên hệ thống sử dụng các giá trị tiềm ẩn biến thiên hoặc bộ mã hóa tham chiếu để chọn một cách phân phối cụ thể thay vì lấy trung bình thành đơn điệu.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của mô hình Prosody
Prosody đang hướng tới nhận thức ngữ cảnh trên toàn bộ đoạn văn và đoạn hội thoại, do đó, người kể chuyện có thể tạo ra sự căng thẳng hoặc chatbot có thể phù hợp với tâm trạng của người dùng. Các mô hình ngôn ngữ và giọng nói lớn đang học ngữ điệu cùng với ý nghĩa, cho phép các nút bấm có thể điều khiển được để nhấn mạnh, cảm xúc và phong cách nói thông qua các hướng dẫn bằng văn bản đơn giản. Mong đợi sách nói, lồng tiếng và trợ lý sẽ thay đổi cách phân phối một cách tự nhiên, cộng với khả năng kiểm soát tốt hơn đối với độ lệch và hơi thở để vượt qua đoạn cuối của thung lũng kỳ lạ.
Triển khai trong thế giới thực
Hệ thống tường thuật sách nói thay đổi cao độ và nhịp độ để các chương nghe có vẻ biểu cảm hơn là đơn điệu
Trợ lý ảo nâng cao ngữ điệu khi kết thúc câu hỏi có/không nên nghe rõ ràng như một câu hỏi
Công cụ lồng tiếng phim và video phù hợp với điểm nhấn và nhịp điệu truyền tải của diễn viên gốc
Trình đọc sàng lọc khả năng truy cập nhấn mạnh các từ khóa để người dùng mù nắm bắt ý nghĩa câu nhanh hơn
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prosody Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình hoán vị XLNet
Câu hỏi thường gặp
What is Prosody Modeling?
Mô hình ngữ điệu dạy cho máy móc giai điệu của lời nói, nhịp điệu, cao độ, trọng âm và nhịp độ phụ thuộc vào từ ngữ. Đó là điểm phân biệt giữa giọng nói phẳng của robot với giọng nói thực sự của con người.
Tập hợp đặc điểm nào mô tả đúng nhất ngữ điệu trong lời nói?
Thi pháp đề cập đến các đặc tính siêu phân đoạn của lời nói, ngữ điệu (cao độ), nhịp điệu và thời lượng, trọng âm và năng lượng (độ to), đi kèm với các từ.
Trong mô hình ngữ điệu, tần số cơ bản (F0) đại diện cho điều gì?
F0 là tần số cơ bản của giọng nói, tốc độ rung của dây thanh âm mà chúng ta nghe được dưới dạng cao độ hoặc giai điệu của giọng nói.
FastSpeech 2 đã cải thiện khả năng kiểm soát ngữ điệu như thế nào so với các mẫu trước đó?
FastSpeech 2 đã giới thiệu một bộ chuyển đổi phương sai có thể dự đoán rõ ràng thời lượng, cao độ và năng lượng, mang lại khả năng kiểm soát nhịp điệu trực tiếp và ổn định hơn so với sự chú ý thuần túy ngầm.
Tại sao việc dự đoán nhịp điệu chỉ từ văn bản lại được coi là vấn đề một-nhiều?
Những từ giống nhau có thể được truyền tải theo vô số cách tùy thuộc vào ý định và cảm xúc, vì vậy các mô hình phải chọn trong số nhiều cách đọc có nhịp điệu hợp lệ thay vì tính toán một câu trả lời duy nhất.
Dấu hiệu nào báo hiệu trực tiếp nhất rằng một câu nói tiếng Anh là câu hỏi có/không?
Các câu hỏi có/không trong tiếng Anh thường kết thúc bằng ngữ điệu lên cao, một dấu hiệu nhịp điệu giúp phân biệt chúng với các câu phát biểu ngay cả với những từ giống nhau.