Tiếp theoHướng dẫn tiếp theo
Đào tạo AI
Nguyên tắc cơ bản
HƯỚNG DẪN AI âm thanh
Huấn luyện bất biến hoán vị
Huấn luyện bất biến hoán vị (PIT) là một thủ thuật huấn luyện thông minh cho phép mô hình tách nhiều giọng nói mà không cần quan tâm đến vị trí đầu ra mà mỗi giọng nói sẽ rơi vào.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó giải quyết được vấn đề ghi nhãn cứng đầu đã cản trở tiến trình phân tách giọng nói.
Lặn sâu
Khi mạng phát ra hai giọng nói riêng biệt, không có quy tắc tự nhiên nào về đầu ra nào sẽ là 'loa 1' hay 'loa 2'. Nếu quá trình đào tạo luôn mong đợi người nói A ở đầu ra 1, nhưng mô hình lại đặt A ở đầu ra 2, thì nó sẽ bị phạt mặc dù sự phân tách hoàn hảo. 'Vấn đề hoán vị nhãn' này khiến các mô hình tạo ra kết quả đầu ra trung bình, mờ. Được Dong Yu và các đồng nghiệp giới thiệu vào năm 2017, PIT đã khắc phục vấn đề này bằng cách thử mọi khả năng ghép nối giữa đầu ra của mô hình và nguồn thực, tính toán lỗi cho từng nguồn và chỉ giữ lại phép gán có lỗi thấp nhất để cập nhật mô hình. Do đó, mạng được khen thưởng vì sự tách biệt rõ ràng bất kể thứ tự, giúp việc đào tạo nhiều người nói nhất quán cuối cùng cũng có hiệu quả.
Triển khai trong thế giới thực
Huấn luyện mạng lưới thần kinh để tách hai hoặc nhiều người nói chồng chéo trong bản ghi cuộc họp và cuộc gọi.
Cung cấp năng lượng cho hệ thống tách micrô đơn được sử dụng làm giao diện người dùng để nhận dạng giọng nói.
Kích hoạt PIT cấp độ phát âm để giữ cho mỗi người nói được chỉ định một kênh đầu ra nhất quán trong suốt cuộc trò chuyện.
Đóng vai trò là mục tiêu đào tạo trong các mô hình phân tách điểm chuẩn được đánh giá trên các bộ dữ liệu như WSJ0-2mix.
Tương lai của việc đào tạo bất biến hoán vị
PIT vẫn là xương sống của nghiên cứu phân tách, nhưng các hướng mới hơn làm giảm chi phí tổ hợp và sự mơ hồ về thứ tự. Các phương pháp tiếp cận như phân tách đệ quy sẽ trích xuất từng người nói một và phương pháp của người nói mục tiêu hoàn toàn vượt qua sự hoán vị bằng cách điều chỉnh theo tín hiệu giọng nói. Các sơ đồ phân công theo kinh nghiệm và dựa trên biểu đồ nhằm mục đích mở rộng quy mô PIT thành số lượng người nói lớn hơn, có thể thay đổi. Mong đợi những ý tưởng kiểu PIT sẽ tồn tại ở bất cứ nơi nào một mô hình phải tạo ra một tập hợp đầu ra không có thứ tự, thậm chí ngoài âm thanh.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Permutation Invariant Training quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Đào tạo bất biến hoán vị là gì?
Huấn luyện bất biến hoán vị (PIT) là một thủ thuật đào tạo thông minh cho phép mô hình tách nhiều giọng nói mà không cần quan tâm đến vị trí đầu ra mà mỗi giọng nói sẽ rơi vào. Nó giải quyết được một vấn đề gắn nhãn cứng đầu đã cản trở tiến trình phân tách giọng nói.
Huấn luyện bất biến hoán vị (PIT) giải quyết vấn đề cốt lõi nào?
PIT giải quyết vấn đề hoán vị nhãn: không có lý do cố hữu nào khiến đầu ra 1 phải là người nói A chứ không phải người nói B.
PIT quyết định sử dụng lỗi nào khi cập nhật mô hình?
PIT đánh giá tổn thất cho mỗi hoán vị có thể và chỉ truyền ngược lại việc ấn định tổn thất tối thiểu.
Nếu không có giải pháp như PIT, điều gì sẽ xảy ra với các kết quả đầu ra của mô hình phân tách?
Việc ghi nhãn không nhất quán đã gửi các độ dốc xung đột, đẩy mô hình về phía các ước tính trung bình, bị nhòe của người nói.
Để tách N người nói, PIT phải xem xét bao nhiêu hoán vị trong mỗi bước?
Có N! cách gán N đầu ra cho N nguồn, đó là lý do tại sao việc mở rộng PIT cho nhiều loa trở nên tốn kém.
PIT cấp độ cách nói (uPIT) mang lại lợi ích gì so với việc gán cấp độ khung hình?
uPIT sửa một hoán vị cho toàn bộ câu nói, ngăn người nói chuyển kênh ở giữa câu.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này