Tiếp theoHướng dẫn tiếp theo
Distil-Whisper và chưng cất mô hình ASR
AI âm thanh
HƯỚNG DẪN AI âm thanh
OpenAI Thì thầm
Whisper is an open-source automatic speech-recognition model released by OpenAI in 2022.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Its published tasks include multilingual transcription and translation into English; reported performance varies across languages and audio conditions.
Lặn sâu
The Whisper paper reports training on roughly 680,000 hours of web-collected audio with weak supervision. The model supports speech recognition, English speech translation, language identification and timestamps. The paper reports uneven language coverage and evaluates several tasks; its benchmark results are not a universal accuracy guarantee. The model card estimates the corpus as about 65% English audio with English transcripts, 18% non-English audio paired with English translation text and 17% non-English audio with original-language transcripts.
Triển khai trong thế giới thực
Hypothetical workflow: transcribe a recorded interview, then check proper nouns and uncertain spans against the audio.
Hypothetical workflow: translate non-English speech into English text and verify the translation with a qualified speaker when accuracy matters.
Use language-identification output as a model prediction that may be less reliable for underrepresented languages or noisy audio.
For long recordings, inspect segment boundaries and silent sections for omissions, repetition loops or hallucinated text.
Tương lai của OpenAI Thì thầm
Use the published paper and model card to select evaluation data that matches the intended language, audio quality and task. Report per-language and task-specific error rates and manually verify high-impact transcripts. The cited sources do not establish a current adoption trend or guarantee future on-device/streaming capabilities.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the OpenAI Whisper quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Lời thì thầm OpenAI là gì?
Whisper is an open-source automatic speech-recognition model released by OpenAI in 2022. Its published tasks include multilingual transcription and translation into English; reported performance varies across languages and audio conditions.
Mục đích chính của Whisper của OpenAI là gì?
Whisper là một hệ thống nhận dạng giọng nói tự động có chức năng phiên âm và dịch âm thanh giọng nói qua nhiều ngôn ngữ.
What was true of the language balance in Whisper’s training audio?
The paper notes that the training corpus was English-heavy and that most languages had far less than 1,000 hours.
What does Whisper use to condition the decoder on the requested task and language?
Special tokens identify the language and task, such as transcription or English translation.
Whisper KHÔNG cung cấp khả năng nào?
Whisper xử lý phiên âm, dịch sang tiếng Anh, phát hiện ngôn ngữ và dấu thời gian, nhưng nó không phải là trình tạo video.
Which long-form transcription problems does OpenAI’s paper describe?
The paper describes errors such as repetition loops and missing first or last words around segment boundaries.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này