Tiếp theoHướng dẫn tiếp theo
Phần nhúng loa X-Vector
AI âm thanh
HƯỚNG DẪN AI âm thanh
Lượng tử hóa vectơ dư
Lượng tử hóa vectơ dư (RVQ) là kỹ thuật biến các phần nhúng âm thanh liên tục thành một chồng mã rời rạc nhỏ gọn bằng cách lượng tử hóa nhiều lần lỗi còn sót lại.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó quan trọng vì nó là công cụ đằng sau các codec thần kinh hiện đại như SoundStream và EnCodec cũng như bộ mã thông báo cho âm thanh tổng hợp.
Lặn sâu
Lượng tử hóa vectơ đơn giản (VQ) thay thế vectơ liên tục bằng mục gần nhất trong sách mã đã học, nhưng một sổ mã duy nhất đủ tốt để có chất lượng cao sẽ cần số lượng mục nhập rất lớn. RVQ giải quyết vấn đề này bằng cách xếp tầng một số sách mã nhỏ hơn. Sách mã đầu tiên tạo ra một xấp xỉ thô; bạn trừ nó để nhận được lỗi dư, lượng tử hóa phần dư đó bằng sổ mã thứ hai, trừ lại và tiếp tục cho N giai đoạn. Mã cuối cùng là danh sách các chỉ mục được chọn trong tất cả các giai đoạn và việc xây dựng lại là tổng của tất cả các vectơ bảng mã đã chọn. Điều này chia một cuốn sách mã hiệu quả lớn thành nhiều cuốn sách nhỏ, cắt giảm đáng kể bộ nhớ và khả năng tính toán trong khi cho phép tăng tốc độ bit chỉ bằng cách sử dụng nhiều hoặc ít giai đoạn hơn. Việc bỏ qua bộ lượng tử hóa trong quá trình đào tạo khiến cho các sách mã ban đầu mang nhiều thông tin nhất, tạo điều kiện cho chất lượng bị suy giảm một cách nhẹ nhàng.
Triển khai trong thế giới thực
Phân tách các phần nhúng bộ mã hóa bên trong các codec thần kinh SoundStream, EnCodec và DAC
Tạo mã thông báo âm thanh phân lớp mà AudioLM và MusicLM tạo ra
Tăng hoặc giảm tốc độ bit của codec bằng cách kích hoạt nhiều hoặc ít giai đoạn lượng tử hóa
Nén các phần nhúng chiều cao trong hệ thống truy xuất và lưu trữ bằng cách sử dụng sách mã xếp chồng
Tương lai của lượng tử hóa vectơ dư
RVQ đã trở thành lớp rời rạc tiêu chuẩn liên kết các biểu diễn thần kinh liên tục với các mô hình tổng hợp dựa trên mã thông báo và các cải tiến vẫn tiếp tục: sử dụng sổ mã tốt hơn để tránh các mục nhập 'chết', các sổ mã được phân tích thành hệ số và có chiều thấp cũng như các hệ thống phân cấp mã thông báo có ý nghĩa về mặt ngữ nghĩa. Ngoài âm thanh, ý tưởng xếp chồng tương tự cũng đang lan sang các bộ mã thông báo hình ảnh và video, định vị RVQ như một cầu nối chung giữa bộ mã hóa liên tục và bộ tạo chuỗi kiểu mô hình ngôn ngữ.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Residual Vector Quantization quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Lượng tử hóa vectơ dư là gì?
Lượng tử hóa vectơ dư (RVQ) là kỹ thuật biến các phần nhúng âm thanh liên tục thành một chồng mã rời rạc nhỏ gọn bằng cách lượng tử hóa nhiều lần lỗi còn sót lại. Nó quan trọng vì nó là công cụ đằng sau các codec thần kinh hiện đại như SoundStream và EnCodec cũng như bộ mã thông báo cho âm thanh tổng hợp.
Mỗi sổ mã liên tiếp trong RVQ lượng tử hóa cái gì?
Sau khi sổ mã đầu tiên đưa ra ước tính thô, RVQ sẽ trừ nó và lượng tử hóa phần dư còn lại với sổ mã tiếp theo, lặp lại qua các giai đoạn.
Tại sao nên sử dụng RVQ thay vì một cuốn sách mã lớn?
Một cuốn sách mã đủ tốt để có chất lượng cao sẽ rất lớn; xếp chồng M sổ mã của K mục nhập mang lại kết hợp K^M với dung lượng lưu trữ ít hơn nhiều.
Việc tái thiết cuối cùng được hình thành từ mã RVQ như thế nào?
Việc xây dựng lại là tổng của các vectơ bảng mã đã chọn qua tất cả các giai đoạn, mỗi vectơ sẽ sửa phần dư của các vectơ trước đó.
Với M giai đoạn gồm K mục mỗi giai đoạn, RVQ đại diện cho bao nhiêu tổ hợp mã hiệu quả?
Việc chọn một trong K mục ở mỗi M giai đoạn độc lập sẽ mang lại K^M kết hợp có thể có, trong khi chỉ lưu trữ vectơ M*K.
Mục đích điển hình của việc 'mất cam kết' khi đào tạo sách mã RVQ là gì?
Việc mất cam kết sẽ gây thiệt hại cho bộ mã hóa khi đầu ra của nó lệch khỏi vectơ sách mã đã chọn, giữ cho lượng tử hóa ổn định; bản thân các sổ mã thường cập nhật thông qua đường trung bình động hàm mũ.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này