Tiếp theoHướng dẫn tiếp theo
Xu hướng theo ngữ cảnh và từ vựng tùy chỉnh trong ASR
AI âm thanh
HƯỚNG DẪN AI âm thanh
Nghiên cứu wav2letter ban đầu sử dụng mô hình âm học tích chập để dự đoán chuỗi ký tự từ đầu vào giọng nói.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Tiêu chí trình tự và công việc khung sau này của nó minh họa các lựa chọn triển khai và mô hình hóa riêng biệt, với hiệu suất được đánh giá trong các thử nghiệm xác định.
Bài báo wav2letter năm 2016 của các nhà nghiên cứu tại Facebook AI Research kết hợp mạng âm thanh tích chập với giải mã biểu đồ để nhận dạng giọng nói. Nó dự đoán các chữ cái hoặc biểu đồ từ đầu vào giọng nói và không yêu cầu phiên âm ngữ âm trung gian cho phương pháp đào tạo đã nêu. Nghiên cứu đánh giá các đầu vào bao gồm các tính năng MFCC, tính năng phổ công suất và dạng sóng thô. Do đó, việc gọi nó là hệ thống dạng sóng thô sẽ bỏ qua các biến thể được báo cáo. Kiến trúc âm thanh của nó tránh được các kết nối mạng lặp lại, trong khi bộ giải mã hoàn chỉnh vẫn có thể thực hiện tìm kiếm tuần tự. Quá trình triển khai ban đầu sử dụng Torch7, với các thành phần tiêu chí và bộ giải mã được triển khai trong C. Điều này cần được phân biệt với khung wav2letter++ sau này, mà bài viết của nó mô tả là được viết bằng C++ bằng thư viện tensor ArrayFire. Tiêu chí phân đoạn tự động ban đầu, hay ASG, khác với CTC ở chỗ bỏ qua ký hiệu trống và bao gồm điểm chuyển tiếp giữa các chữ cái. Cả hai đều tìm cách huấn luyện từ các chú thích trình tự mà không yêu cầu nhãn thủ công ở mọi khung âm thanh, mặc dù định nghĩa của chúng khác nhau. Các tác giả báo cáo kết quả trên LibriSpeech theo các lựa chọn đầu vào và giải mã cụ thể; chỉ riêng tên kiến trúc không đảm bảo lợi thế về độ trễ hoặc tỷ lệ lỗi cho mọi khối lượng công việc. Đèn pin là thư viện máy học C++ có liên quan có các ứng dụng được ghi lại bao gồm ASR trước đây được liên kết với dự án wav2letter. Ngăn xếp tích chập cũng có hình học trường tiếp nhận có giá trị tách biệt với tốc độ khung. Trong hình minh họa đã nêu về hai lớp tạm thời có độ dài ba, một bước, giãn nở một không có thao tác đệm hoặc can thiệp, một đầu ra của lớp thứ hai phụ thuộc vào năm vị trí đầu vào ban đầu. Đây là phép tính hình học đơn giản, không phải phép đo của mọi mô hình wav2letter.
So sánh đầu vào dạng sóng thô và dựa trên MFCC trong nghiên cứu wav2letter ban đầu.
Nghiên cứu đào tạo trình tự ASG mà không cần căn chỉnh khung thủ công.
Kiểm tra quá trình triển khai wav2letter++ C++ và ArrayFire sau này.
Tính toán trường tiếp nhận tạm thời cho ngăn xếp tích chập đơn giản đã nêu.
Thử nghiệm giọng nói tích chập có thể so sánh các tính năng đầu vào, tiêu chí trình tự, giải mã và chi tiết triển khai trong các điều kiện đánh giá nhất quán. Các kết quả wav2letter được công bố cung cấp các ví dụ lịch sử thay vì bằng chứng cho thấy một kiến trúc âm thanh là nhanh nhất cho mọi thiết bị hoặc ngôn ngữ. Các lựa chọn khung có thể ảnh hưởng đến tốc độ lặp trong khi những thay đổi đối với mô hình hoặc bộ giải mã sẽ ảnh hưởng đến một phần khác của hệ thống. Các báo cáo phải xác định phiên bản và cách trình bày đầu vào nào đã được sử dụng, đồng thời phân biệt các phép tính trường tiếp nhận với độ trễ đo được. Việc tái tạo một thử nghiệm xác định sẽ mang lại nhiều thông tin hơn so với việc quy kết sự phát triển mô hình giọng nói sau này cho một dòng phổ quát duy nhất.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Nghiên cứu wav2letter ban đầu sử dụng mô hình âm học tích chập để dự đoán chuỗi ký tự từ đầu vào giọng nói. Tiêu chí trình tự và công việc khung sau này của nó minh họa các lựa chọn triển khai và mô hình hóa riêng biệt, với hiệu suất được đánh giá trong các thử nghiệm xác định.
Tuyên bố này liên quan đến mạng âm thanh gốc, không đảm bảo rằng mọi hoạt động giải mã hoàn chỉnh đều diễn ra song song.
Bài viết liệt kê các nhà nghiên cứu liên kết với Facebook AI Research cho tác phẩm gốc.
Nghiên cứu dự đoán các chuỗi ký tự và đánh giá một số biểu diễn đầu vào, bao gồm MFCC và dạng sóng thô.
ASG bỏ mã thông báo trống của CTC và thay vào đó thêm điểm chuyển tiếp rõ ràng giữa các chữ cái trong khi vẫn có thể phân biệt hoàn toàn.
Việc tính toán âm thanh có thể được thực hiện song song theo nhiều cách khác nhau, trong khi chi phí tìm kiếm và triển khai vẫn là vấn đề quan trọng.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Xu hướng theo ngữ cảnh và từ vựng tùy chỉnh trong ASR
AI âm thanh