Tiếp theoHướng dẫn tiếp theo
Nhận dạng giọng nói cho những người có giọng nói không điển hình
AI âm thanh
HƯỚNG DẪN AI âm thanh
Nhận dạng giọng nói thì thầm
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio.
Nghe hướng dẫn nàyAI thuật lại · ~1 min
Trên trang nàyđọc 1 phút
Tổng quan
Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Lặn sâu
Introduced in 2022, Whisper is a Transformer encoder-decoder trained on approximately 680,000 hours of multilingual audio paired with transcripts or translation text collected from the web. The data is uneven across languages, and performance varies by language and task. Whisper processes audio in 30-second chunks and uses task and language tokens to select transcription, English translation, or timestamped output. Released weights and inference code are under the MIT license.
Triển khai trong thế giới thực
Tự động tạo bản ghi và phụ đề có thể tìm kiếm cho podcast và video YouTube
Hỗ trợ các ứng dụng ghi chú cuộc họp trực tiếp tạo ra các bản tóm tắt từ âm thanh Zoom hoặc Teams
Dịch trực tiếp các bài phỏng vấn bằng tiếng nước ngoài sang tiếng Anh cho nhà báo
Xây dựng các công cụ trợ năng được điều khiển bằng giọng nói và đọc chính tả cho những người dùng không thể nhập văn bản
Tương lai của nhận dạng giọng nói thì thầm
Whisper’s release supports transcription and captioning applications. Real-world performance depends on language coverage, audio quality, accents, domain vocabulary, and evaluation conditions. Measure error rates on representative recordings, with human review where transcripts have consequential use.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Whisper Speech Recognition quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Nhận dạng giọng nói thì thầm là gì?
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio. Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Whisper đã được huấn luyện về khoảng bao nhiêu giờ âm thanh?
Whisper đã được đào tạo về khoảng 680.000 giờ âm thanh đa ngôn ngữ, đa tác vụ được thu thập từ web, một tập dữ liệu lớn và đa dạng bất thường.
Whisper tính toán biểu diễn trung gian nào từ âm thanh thô trước bộ mã hóa?
Whisper chuyển đổi từng đoạn âm thanh dài 30 giây thành một quang phổ log-Mel 80 kênh mà bộ mã hóa Transformer xử lý.
Làm thế nào để một mô hình Whisper thực hiện nhiều tác vụ như phiên âm và dịch thuật?
Thì thầm các điều kiện về các mã thông báo đặc biệt khi bắt đầu giải mã để cho nó biết ngôn ngữ, tác vụ và liệu có phát ra dấu thời gian hay không.
Whisper sử dụng kiến trúc thần kinh tổng thể nào?
Whisper là một bộ biến đổi bộ mã hóa-giải mã: bộ mã hóa đọc biểu đồ phổ và bộ giải mã tạo ra các mã thông báo văn bản một cách tự động.
Tại sao Whisper được coi là đặc biệt mạnh mẽ so với các hệ thống ASR trước đó?
Việc đào tạo về số lượng lớn âm thanh trong thế giới thực, đa dạng (giọng, tiếng ồn, nhiễu xuyên âm) đã mang lại cho Whisper sự mạnh mẽ vượt trội mà không cần điều chỉnh theo từng miền.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này