Tiếp theoHướng dẫn tiếp theo
Kết hợp nông với các mô hình ngôn ngữ trong ASR
AI âm thanh
HƯỚNG DẪN AI âm thanh
Mô hình ngôn ngữ VALL-E và Codec
VALL-E is a zero-shot text-to-speech research system that predicts EnCodec audio tokens from phoneme text and a short acoustic prompt.
Nghe hướng dẫn nàyAI thuật lại · ~1 min
Trên trang nàyđọc 1 phút
Tổng quan
Its claims are limited to the model and evaluations described in the original paper.
Lặn sâu
The VALL-E paper frames text-to-speech as conditional language modeling over EnCodec codes. It conditions on phoneme sequences and acoustic prompt codes from a short, approximately three-second recording. The model predicts coarse tokens autoregressively and fine tokens non-autoregressively, then decodes the codes to audio. The authors train on 60,000 hours of English speech and report zero-shot results in their described evaluation, including preservation of speaker characteristics and acoustic environment. Those findings do not establish general performance for other languages, speakers, tasks or deployments.
Triển khai trong thế giới thực
Checking the paper’s approximately three-second speaker prompt setup.
Tracing the text-to-code model and its phoneme input.
Understanding the coarse autoregressive and fine non-autoregressive code prediction stages.
Reviewing the paper’s 60,000-hour LibriLight training data and reported zero-shot evaluations.
Tương lai của mô hình ngôn ngữ VALL-E và Codec
Further evaluations should test speaker and language coverage, content preservation and robustness on independently sampled data. The original paper does not establish streaming deployment, clinical voice restoration, dubbing policy or watermarking effectiveness.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the VALL-E and Codec Language Models quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is VALL-E and Codec Language Models?
VALL-E is a zero-shot text-to-speech research system that predicts EnCodec audio tokens from phoneme text and a short acoustic prompt. Its claims are limited to the model and evaluations described in the original paper.
Ý tưởng cốt lõi nào giúp phân biệt VALL-E với các hệ thống chuyển văn bản thành giọng nói trước đây?
VALL-E điều chỉnh lại TTS dưới dạng dự đoán mã thông báo tiếp theo trên mã thông báo codec âm thanh riêng biệt, xử lý việc tạo giọng nói giống như một mô hình ngôn ngữ.
VALL-E cần bao nhiêu âm thanh tham chiếu để sao chép giọng nói của người nói mới?
VALL-E có thể thực hiện sao chép giọng nói zero-shot từ mẫu khoảng 3 giây của một người nói không nhìn thấy.
VALL-E sử dụng codec thần kinh nào để tạo mã thông báo âm thanh?
VALL-E được xây dựng trên EnCodec của Meta, dự đoán các mã thông báo âm thanh rời rạc của nó để tổng hợp giọng nói.
Tại sao VALL-E sử dụng cả giai đoạn tự hồi quy và không tự hồi quy?
Mã thông báo Codec được phân cấp thông qua RVQ; VALL-E dự đoán luồng thô đầu tiên một cách tự động và các mã thông báo chi tiết còn lại song song để đạt hiệu quả.
VALL-E đã đào tạo khoảng bao nhiêu dữ liệu giọng nói để cho phép nhân bản không phát âm mạnh mẽ?
VALL-E đã được đào tạo về khoảng 60.000 giờ diễn thuyết, nhiều hơn nhiều so với các bộ dữ liệu TTS thông thường, điều này đã nâng cao khả năng khái quát hóa không cần bắn của nó.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này