Tiếp theoHướng dẫn tiếp theo
Bộ giải mã âm thanh thần kinh
AI âm thanh
HƯỚNG DẪN AI âm thanh
Bộ giải mã âm thanh trực tuyến Mimi
Mimi là codec âm thanh thần kinh của Kyutai được sử dụng với Moshi.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó chuyển đổi âm thanh 24 kHz thành các dạng biểu diễn riêng biệt ở tốc độ 12,5 khung hình/giây, cho phép các mô hình giọng nói dự đoán và giải mã mã thông báo âm thanh. Bài viết mô tả một cuốn sách mã ngữ nghĩa được chắt lọc từ WavLM và các cuốn sách mã âm thanh để tái thiết; tốc độ và độ trễ cụ thể thuộc về cấu hình đã công bố.
Lặn sâu
Bài báo Moshi giới thiệu Mimi là một codec thần kinh phát trực tuyến hoạt động trên âm thanh 24 kHz với tốc độ khung hình mã thông báo 12,5 Hz và băng thông 1,1 kbps trong thiết lập được báo cáo. Bộ mã hóa tạo ra một sách mã ngữ nghĩa được chắt lọc từ WavLM và các sách mã âm thanh hỗ trợ việc tái thiết, sử dụng lượng tử hóa vectơ dư. Che dấu nhân quả trong bộ mã hóa/giải mã Transformers hỗ trợ suy luận trực tuyến. Bài báo báo cáo kích thước khung hình 80 ms; nó không nên được hiểu là thời gian phản hồi đàm thoại được đảm bảo từ đầu đến cuối. Mimi cung cấp mã thông báo âm thanh cho mô hình văn bản âm thanh của Moshi, nhưng mã thông báo codec không phải là mã thông báo văn bản thông thường.
Triển khai trong thế giới thực
Sử dụng codec để thể hiện giọng nói đến dưới dạng các mã thông báo riêng biệt mà mô hình văn bản giọng nói có thể xử lý.
Giải mã mã thông báo âm thanh được dự đoán trở lại dạng sóng để phát ra giọng nói.
So sánh tốc độ mã thông báo và tốc độ bit khi đánh giá độ dài chuỗi tự hồi phục và độ trung thực của codec.
Kiểm tra các sách mã ngữ nghĩa/âm thanh được phân tách được mô tả trong báo cáo Moshi.
Tương lai của Mimi Streaming Audio Codec
Bộ giải mã thần kinh cung cấp một giao diện cho các mô hình giọng nói để mã hóa và tạo ra âm thanh. Công việc trong tương lai có thể điều chỉnh tỷ lệ mã thông báo, phân bổ sổ mã và độ trễ phát trực tuyến; mỗi sự cân bằng phải được đánh giá về chất lượng âm thanh, phần cứng và tác vụ hội thoại dự kiến.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra Mimi Streaming Audio Codec
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Bộ giải mã âm thanh phát trực tuyến Mimi là gì?
Mimi là codec âm thanh thần kinh của Kyutai được sử dụng với Moshi. Nó chuyển đổi âm thanh 24 kHz thành các dạng biểu diễn riêng biệt ở tốc độ 12,5 khung hình/giây, cho phép các mô hình giọng nói dự đoán và giải mã mã thông báo âm thanh. Bài viết mô tả một cuốn sách mã ngữ nghĩa được chắt lọc từ WavLM và các cuốn sách mã âm thanh để tái thiết; tốc độ và độ trễ cụ thể thuộc về cấu hình đã công bố.
Phòng thí nghiệm nào đã phát hành Mimi và mẫu giọng nói Moshi?
Mimi và Moshi được phát hành vào năm 2024 bởi phòng thí nghiệm nghiên cứu Kyutai của Pháp, nơi có nguồn mở cả hai.
Mimi phát ra bao nhiêu token mỗi giây để phát biểu?
Mimi nén âm thanh 24 kHz xuống chỉ còn khoảng 12,5 mã thông báo mỗi giây với tốc độ khoảng 1,1 kbps.
Sách mã ngữ nghĩa đầu tiên của Mimi nhằm mục đích thể hiện thông tin gì?
Bài báo Moshi mô tả việc chắt lọc các biểu diễn WavLM thành sách mã ngữ nghĩa của Mimi; nó không khẳng định rằng sổ mã này là bản ghi theo nghĩa đen hoặc bản ghi nhận dạng người nói chính xác.
Tại sao Mimi được mô tả là 'phát trực tuyến' hoặc 'nhân quả'?
Bộ mã hóa/giải mã nhân quả của Mimi có thể xử lý các khung hình khi âm thanh đến thay vì yêu cầu phát âm đầy đủ. Con số 80 ms của bài báo là khoảng thời gian khung codec, không phải là độ trễ hội thoại đầu cuối được đảm bảo.
Mimi sử dụng kỹ thuật lượng tử hóa nào để mã hóa âm thanh?
Mimi sử dụng lượng tử hóa vectơ dư, xếp chồng nhiều sách mã để mỗi sách mã bổ sung thêm chi tiết tốt hơn cho sách trước đó.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này