Dịch từ giọng nói sang giọng nói
Dịch từ giọng nói sang giọng nói (S2ST) lấy các từ được nói bằng một ngôn ngữ và tạo ra các từ được nói bằng một ngôn ngữ khác — lý tưởng nhất là giữ nguyên giọng nói, âm điệu và thời gian của người nói.
Tổng quan
It is the long-sought 'universal translator' for live conversation.
Lặn sâu
Dịch từ giọng nói sang giọng nói chuyển đổi âm thanh ở ngôn ngữ nguồn thành âm thanh ở ngôn ngữ đích. Cách tiếp cận cổ điển là một tầng: nhận dạng giọng nói (ASR) phiên âm đầu vào, dịch máy chuyển đổi văn bản và chuyển văn bản thành giọng nói (TTS) cho biết kết quả. Điều này hoạt động nhưng tích lũy lỗi ở từng giai đoạn và tăng thêm độ trễ. Các hệ thống 'trực tiếp' hoặc đầu cuối mới hơn dịch lời nói thành lời nói với ít bước văn bản trung gian hơn, giảm độ trễ và duy trì chất lượng biểu cảm tốt hơn. Bộ phần mềm DànM4T và Dàn của Meta dịch sang khoảng 100 ngôn ngữ và nhằm mục đích giữ nguyên phong cách giọng hát, cảm xúc và nhịp điệu của người nói. Một vấn đề khó khăn là dịch thuật theo thời gian thực, độ trễ thấp: hệ thống phải bắt đầu dịch trước khi kết thúc một câu, cân bằng giữa tốc độ và độ chính xác.
Hiểu biết kỹ thuật
Hai mô hình cạnh tranh. Hệ thống xếp tầng có tính mô-đun và dễ gỡ lỗi nhưng có nhiều lỗi phức tạp và làm mất giọng nói ban đầu. Các mô hình S2ST trực tiếp ánh xạ âm thanh nguồn tới âm thanh đích (thường thông qua các đơn vị âm thanh riêng biệt) và có thể chạy từ đầu đến cuối, giảm độ trễ và duy trì nhịp điệu. Bản dịch trực tuyến bổ sung thêm thách thức trong việc quyết định thời điểm cam kết xuất bản trước khi người nói kết thúc, vì thứ tự từ khác nhau giữa các ngôn ngữ và việc chờ đợi quá lâu sẽ ảnh hưởng đến trải nghiệm trực tiếp.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của dịch thuật từ giọng nói sang giọng nói
Mục tiêu là bản dịch liền mạch, gần như ngay lập tức, lưu giữ giọng nói và cảm xúc của chính bạn, được nhúng trong tai nghe, kính và cuộc gọi điện video. Mong đợi phạm vi phủ sóng ngôn ngữ tài nguyên thấp rộng hơn, độ trễ thấp hơn và xử lý tiếng lóng, tên và người nói trùng lặp tốt hơn. Việc bảo tồn giọng nói làm tăng mối lo ngại về sự đồng ý và giả mạo sâu, do đó, hình mờ và các biện pháp bảo vệ sẽ tăng lên. Khi các mô hình thu nhỏ để sử dụng trên thiết bị, bản dịch ngoại tuyến, riêng tư có thể tạo thói quen hội thoại đa ngôn ngữ theo thời gian thực cho du lịch, chăm sóc sức khỏe và cộng tác toàn cầu.
Triển khai trong thế giới thực
Bản dịch cuộc gọi video trực tiếp cho phép người tham gia nói ngôn ngữ của họ và nghe thấy nhau bằng ngôn ngữ của họ.
Tai nghe và kính AR giúp dịch cuộc trò chuyện nhanh chóng khi đi du lịch nước ngoài.
Lồng tiếng phim và video sang các ngôn ngữ khác mà vẫn giữ nguyên giọng nói và cảm xúc của người nói gốc.
Cơ sở cấp cứu và chăm sóc sức khỏe nơi bác sĩ lâm sàng và bệnh nhân không có ngôn ngữ chung có thể giao tiếp nhanh chóng.
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speech-to-Speech Translation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chuẩn hóa văn bản cho giọng nói
Câu hỏi thường gặp
What is Speech-to-Speech Translation?
Dịch từ giọng nói sang giọng nói (S2ST) lấy các từ được nói bằng một ngôn ngữ và tạo ra các từ được nói bằng một ngôn ngữ khác — lý tưởng nhất là giữ nguyên giọng nói, âm điệu và thời gian của người nói. Đây là 'phiên dịch phổ quát' được tìm kiếm từ lâu cho cuộc trò chuyện trực tiếp.
Dịch từ giọng nói sang giọng nói (S2ST) làm gì?
S2ST lấy đầu vào bằng giọng nói bằng ngôn ngữ nguồn và tạo đầu ra bằng giọng nói bằng ngôn ngữ đích, lý tưởng nhất là giữ nguyên giọng nói và âm điệu.
Ba giai đoạn của hệ thống S2ST xếp tầng cổ điển là gì?
Một chuỗi chuỗi ASR (chuyển giọng nói thành văn bản), dịch máy và TTS (chuyển văn bản sang giọng nói), với các lỗi có thể tích lũy ở mỗi giai đoạn.
Ưu điểm chính của S2ST trực tiếp (từ đầu đến cuối) so với các hệ thống xếp tầng là gì?
Hệ thống trực tiếp ánh xạ lời nói thành giọng nói với ít bước văn bản trung gian hơn, giảm độ trễ và giúp duy trì các đặc tính biểu cảm như nhịp điệu.
Hệ thống Meta nào được biết đến với khả năng dịch sang khoảng 100 ngôn ngữ?
DànM4T và bộ liền mạch của Meta dịch sang khoảng 100 ngôn ngữ và nhằm mục đích duy trì phong cách và cảm xúc của người nói.
Tại sao dịch thuật trực tuyến theo thời gian thực lại đặc biệt khó khăn?
Vì thứ tự từ khác nhau giữa các ngôn ngữ nên hệ thống phát trực tuyến phải cam kết xuất ra trước khi người nói kết thúc, đánh đổi tốc độ với độ chính xác.