Tiếp theoHướng dẫn tiếp theo
Chuẩn hóa văn bản cho giọng nói
AI âm thanh
HƯỚNG DẪN AI âm thanh
Dịch từ giọng nói sang giọng nói
Dịch từ giọng nói sang giọng nói (S2ST) lấy các từ được nói bằng một ngôn ngữ và tạo ra các từ được nói bằng một ngôn ngữ khác — lý tưởng nhất là giữ nguyên giọng nói, âm điệu và thời gian của người nói.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Đây là 'phiên dịch phổ quát' được tìm kiếm từ lâu cho cuộc trò chuyện trực tiếp.
Lặn sâu
Dịch từ giọng nói sang giọng nói chuyển đổi âm thanh ở ngôn ngữ nguồn thành âm thanh ở ngôn ngữ đích. Cách tiếp cận cổ điển là một tầng: nhận dạng giọng nói (ASR) phiên âm đầu vào, dịch máy chuyển đổi văn bản và chuyển văn bản thành giọng nói (TTS) cho biết kết quả. Điều này hoạt động nhưng tích lũy lỗi ở từng giai đoạn và tăng thêm độ trễ. Các hệ thống 'trực tiếp' hoặc đầu cuối mới hơn dịch lời nói thành lời nói với ít bước văn bản trung gian hơn, giảm độ trễ và duy trì chất lượng biểu cảm tốt hơn. Bộ phần mềm DànM4T và Dàn của Meta dịch sang khoảng 100 ngôn ngữ và nhằm mục đích giữ nguyên phong cách giọng hát, cảm xúc và nhịp điệu của người nói. Một vấn đề khó khăn là dịch thuật theo thời gian thực, độ trễ thấp: hệ thống phải bắt đầu dịch trước khi kết thúc một câu, cân bằng giữa tốc độ và độ chính xác.
Triển khai trong thế giới thực
Bản dịch cuộc gọi video trực tiếp cho phép người tham gia nói ngôn ngữ của họ và nghe thấy nhau bằng ngôn ngữ của họ.
Tai nghe và kính AR giúp dịch cuộc trò chuyện nhanh chóng khi đi du lịch nước ngoài.
Lồng tiếng phim và video sang các ngôn ngữ khác mà vẫn giữ nguyên giọng nói và cảm xúc của người nói gốc.
Cơ sở cấp cứu và chăm sóc sức khỏe nơi bác sĩ lâm sàng và bệnh nhân không có ngôn ngữ chung có thể giao tiếp nhanh chóng.
Tương lai của dịch thuật từ giọng nói sang giọng nói
Mục tiêu là bản dịch liền mạch, gần như ngay lập tức, lưu giữ giọng nói và cảm xúc của chính bạn, được nhúng trong tai nghe, kính và cuộc gọi điện video. Mong đợi phạm vi phủ sóng ngôn ngữ tài nguyên thấp rộng hơn, độ trễ thấp hơn và xử lý tiếng lóng, tên và người nói trùng lặp tốt hơn. Việc bảo tồn giọng nói làm tăng mối lo ngại về sự đồng ý và giả mạo sâu, do đó, hình mờ và các biện pháp bảo vệ sẽ tăng lên. Khi các mô hình thu nhỏ để sử dụng trên thiết bị, bản dịch ngoại tuyến, riêng tư có thể tạo thói quen hội thoại đa ngôn ngữ theo thời gian thực cho du lịch, chăm sóc sức khỏe và cộng tác toàn cầu.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Speech-to-Speech Translation quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Dịch từ giọng nói sang giọng nói là gì?
Dịch từ giọng nói sang giọng nói (S2ST) lấy các từ được nói bằng một ngôn ngữ và tạo ra các từ được nói bằng một ngôn ngữ khác — lý tưởng nhất là giữ nguyên giọng nói, âm điệu và thời gian của người nói. Đây là 'phiên dịch phổ quát' được tìm kiếm từ lâu cho cuộc trò chuyện trực tiếp.
Dịch từ giọng nói sang giọng nói (S2ST) làm gì?
S2ST lấy đầu vào bằng giọng nói bằng ngôn ngữ nguồn và tạo đầu ra bằng giọng nói bằng ngôn ngữ đích, lý tưởng nhất là giữ nguyên giọng nói và âm điệu.
Ba giai đoạn của hệ thống S2ST xếp tầng cổ điển là gì?
Một chuỗi chuỗi ASR (chuyển giọng nói thành văn bản), dịch máy và TTS (chuyển văn bản sang giọng nói), với các lỗi có thể tích lũy ở mỗi giai đoạn.
Ưu điểm chính của S2ST trực tiếp (từ đầu đến cuối) so với các hệ thống xếp tầng là gì?
Hệ thống trực tiếp ánh xạ lời nói thành giọng nói với ít bước văn bản trung gian hơn, giảm độ trễ và giúp duy trì các đặc tính biểu cảm như nhịp điệu.
Hệ thống Meta nào được biết đến với khả năng dịch sang khoảng 100 ngôn ngữ?
DànM4T và bộ liền mạch của Meta dịch sang khoảng 100 ngôn ngữ và nhằm mục đích duy trì phong cách và cảm xúc của người nói.
Tại sao dịch thuật trực tuyến theo thời gian thực lại đặc biệt khó khăn?
Vì thứ tự từ khác nhau giữa các ngôn ngữ nên hệ thống phát trực tuyến phải cam kết xuất ra trước khi người nói kết thúc, đánh đổi tốc độ với độ chính xác.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này