Tiếp theoHướng dẫn tiếp theo
Distil-Whisper và chưng cất mô hình ASR
AI âm thanh
HƯỚNG DẪN AI âm thanh
Kết hợp nông kết hợp điểm số từ hệ thống nhận dạng giọng nói tự động và mô hình ngôn ngữ được huấn luyện riêng biệt trong quá trình giải mã các bản ghi âm dự kiến.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó có thể ưu tiên các chuỗi từ phù hợp với văn bản của miền, nhưng quá nhiều trọng lượng mô hình ngôn ngữ có thể ghi đè lên âm thanh và chèn những từ hợp lý chưa được nói ra. Cài đặt trọng số và giải mã cần xác thực trên giọng nói đại diện.
A speech recognizer scores possible transcripts from audio. An external language model scores how plausible those word sequences are as text. Shallow fusion combines the scores during search, usually by adding a weighted language-model log score to the recognizer’s score. Research on sequence-to-sequence ASR describes this as a way to incorporate separately trained text knowledge at inference time. The model weights need not be merged or the acoustic model retrained merely to try the combination. Why use it? Some phrases or domain terms are rare in paired audio-training data but more common in available text. The extra language model can guide a beam search toward those sequences when the sound evidence is ambiguous. A beam retains several partial hypotheses instead of committing to the first token. The language-model weight and any length or insertion adjustment affect which completed transcript wins. They should be chosen on development data, leaving a separate test set for evaluation. The method has a failure mode: text plausibility is not evidence that a word was spoken. If the language model is overweighted, it can prefer a fluent domain phrase over an acoustically better alternative. A clinical note that “sounds right” may still misstate a negation or dose. Domain text may also encode biases or privacy-sensitive vocabulary. Measure substitutions, deletions and insertions, examine critical terms and test on both target and general speech. An external language model can improve one slice while hurting another. Shallow fusion is distinct from simply correcting a finished transcript afterward. It influences the search while candidates are still being built. It is also not the only way to combine language information; some ASR models already learn strong language patterns internally. Report the base recognizer, external model, weight, beam settings and evaluation conditions. Treat the final words as an estimate grounded in audio, not as a sentence completion exercise.
Phòng khám kiểm tra xem văn bản tên miền có giúp nhận dạng thuật ngữ mà không thay đổi tên bệnh nhân được nói rõ ràng hay không.
Nhóm phụ đề so sánh các lỗi trong bản ghi có và không có điểm mô hình ngôn ngữ bên ngoài trên âm thanh được giữ lại.
Nhà phát triển giảm trọng lượng mô hình ngôn ngữ sau khi quan sát thấy các phần chèn từ trôi chảy nhưng không được hỗ trợ về mặt âm thanh.
Người đánh giá sẽ kiểm tra xem việc cải thiện từ vựng kỹ thuật có gây hại cho lời nói đàm thoại thông thường hay không.
Văn bản dành riêng cho từng miền sẽ vẫn hấp dẫn để điều chỉnh hệ thống giọng nói khi âm thanh được phiên âm khan hiếm. Sự kết hợp tốt hơn có thể sử dụng ngữ cảnh một cách chọn lọc hơn, giảm nguy cơ ngôn ngữ trước đó lấn át một từ khác thường nhưng được nói rõ ràng. Việc đánh giá phải báo cáo cả lợi ích và sự hồi quy của miền mục tiêu đối với lời nói thông thường, cùng với độ trễ. Trong các cài đặt nhạy cảm, những cái tên và số hiếm cần được kiểm tra rõ ràng thay vì phụ thuộc một cách mù quáng vào kết quả đầu ra trôi chảy. Từ vựng do người dùng cung cấp có thể hữu ích nhưng việc kiểm soát quyền riêng tư và nguồn gốc rõ ràng mới là vấn đề quan trọng. Người nhận biết đáng tin cậy nhất sẽ làm cho sự không chắc chắn trở nên rõ ràng khi âm thanh và ngôn ngữ trước đó không đồng ý.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Kết hợp nông kết hợp điểm số từ trình nhận dạng giọng nói tự động và mô hình ngôn ngữ được đào tạo riêng biệt trong khi giải mã bảng điểm của ứng viên. Nó có thể ưu tiên các chuỗi từ phù hợp với văn bản của miền, nhưng quá nhiều trọng lượng mô hình ngôn ngữ có thể ghi đè lên âm thanh và chèn những từ hợp lý chưa được nói ra. Cài đặt trọng số và giải mã cần xác thực trên giọng nói đại diện.
Văn bản dành riêng cho từng miền sẽ vẫn hấp dẫn để điều chỉnh hệ thống giọng nói khi âm thanh được phiên âm khan hiếm. Sự kết hợp tốt hơn có thể sử dụng ngữ cảnh một cách chọn lọc hơn, giảm nguy cơ ngôn ngữ trước đó lấn át một từ khác thường nhưng được nói rõ ràng. Việc đánh giá phải báo cáo cả lợi ích và sự hồi quy của miền mục tiêu đối với lời nói thông thường, cùng với độ trễ. Trong các cài đặt nhạy cảm, những cái tên và số hiếm cần được kiểm tra rõ ràng thay vì phụ thuộc một cách mù quáng vào kết quả đầu ra trôi chảy. Từ vựng do người dùng cung cấp có thể hữu ích nhưng việc kiểm soát quyền riêng tư và nguồn gốc rõ ràng mới là vấn đề quan trọng. Người nhận biết đáng tin cậy nhất sẽ làm cho sự không chắc chắn trở nên rõ ràng khi âm thanh và ngôn ngữ trước đó không đồng ý.
Tập phát triển hướng dẫn các lựa chọn trong khi thử nghiệm độc lập ước tính hiệu suất.
Các đường dẫn thay thế cho phép mô hình bên ngoài ảnh hưởng đến việc lựa chọn.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Distil-Whisper và chưng cất mô hình ASR
AI âm thanh