OpenAI Thì thầm
Whisper là hệ thống nhận dạng giọng nói tự động nguồn mở của OpenAI giúp phiên âm và dịch âm thanh giọng nói qua hàng chục ngôn ngữ.
Tổng quan
It matters because it brought robust, free, near-human transcription to anyone who can run the model.
Lặn sâu
Được phát hành vào tháng 9 năm 2022, Whisper đã được đào tạo về khoảng 680.000 giờ âm thanh đa ngôn ngữ, đa tác vụ được thu thập từ web. Tập dữ liệu khổng lồ và đa dạng đó chính là bí quyết tạo nên sự mạnh mẽ của nó: nó xử lý các trọng âm, tiếng ồn nền và thuật ngữ kỹ thuật tốt hơn nhiều so với các hệ thống cũ mà không cần phải tinh chỉnh cho từng miền mới. Whisper có thể phiên âm lời nói bằng ngôn ngữ gốc, dịch lời nói từ nhiều ngôn ngữ sang tiếng Anh, xác định ngôn ngữ nói và thêm dấu thời gian. OpenAI đã phát hành mã và trọng lượng mô hình một cách công khai để nó chạy cục bộ trên máy tính xách tay hoặc trong trung tâm dữ liệu, thúc đẩy sự bùng nổ của các công cụ cộng đồng, triển khai lại nhanh hơn và các ứng dụng được xây dựng trên đó. Độ chính xác thay đổi tùy theo ngôn ngữ và chất lượng âm thanh, và giống như tất cả các hệ thống như vậy, đôi khi nó có thể gây 'ảo giác' văn bản.
Hiểu biết kỹ thuật
Whisper là một bộ mã hóa-giải mã Transformer được đào tạo như một tác vụ theo trình tự. Âm thanh được chuyển đổi thành biểu đồ phổ log-Mel, biểu thị tần số giống như hình ảnh theo thời gian mà bộ mã hóa xử lý. Sau đó, bộ giải mã dự đoán các mã thông báo văn bản, được điều chỉnh bởi các mã thông báo đặc biệt để cho mô hình biết tác vụ nào cần thực hiện: phiên âm, dịch, phát hiện ngôn ngữ hoặc thêm dấu thời gian. Vì nó học từ âm thanh web được gắn nhãn yếu trong nhiều tác vụ cùng một lúc nên một mô hình duy nhất có thể khái quát hóa một cách rộng rãi thay vì điều chỉnh theo một tiêu chuẩn hẹp.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của OpenAI Thì thầm
Whisper đã trở thành một khối xây dựng mặc định cho phiên âm và xu hướng hướng tới các biến thể nhanh hơn, nhỏ hơn và thời gian thực chạy trên điện thoại và thiết bị biên. Mong đợi sự hỗ trợ phát trực tuyến chặt chẽ hơn, tách loa tốt hơn và tích hợp với các mô hình ngôn ngữ lớn để dọn dẹp, tóm tắt và chú thích trực tiếp. Trọng số mở có nghĩa là cộng đồng tiếp tục tối ưu hóa nó, trong khi OpenAI và những người khác thúc đẩy các mẫu giọng nói mới hơn. Giảm văn bản gây ảo giác, đặc biệt là trong sử dụng y tế và pháp lý, vẫn là ưu tiên tích cực.
Triển khai trong thế giới thực
Nhà báo tự động ghi lại các cuộc phỏng vấn được ghi âm thay vì đánh máy bằng tay
Nền tảng podcast tạo bản ghi và chú thích có thể tìm kiếm được cho mỗi tập
Công cụ cuộc họp tạo phụ đề trực tiếp và bản ghi cuộc gọi điện video
Một nhà nghiên cứu dịch các bản ghi âm trường ngôn ngữ nói sang văn bản tiếng Anh để phân tích
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the OpenAI Whisper quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Căn chỉnh từ theo dấu thời gian thì thầm
Câu hỏi thường gặp
What is OpenAI Whisper?
Whisper là hệ thống nhận dạng giọng nói tự động nguồn mở của OpenAI giúp phiên âm và dịch âm thanh giọng nói qua hàng chục ngôn ngữ. Nó quan trọng vì nó mang lại khả năng phiên mã mạnh mẽ, miễn phí, gần giống con người cho bất kỳ ai có thể chạy mô hình.
Mục đích chính của Whisper của OpenAI là gì?
Whisper là một hệ thống nhận dạng giọng nói tự động có chức năng phiên âm và dịch âm thanh giọng nói qua nhiều ngôn ngữ.
Whisper đã được huấn luyện về khoảng bao nhiêu âm thanh?
Whisper đã được đào tạo về khoảng 680.000 giờ âm thanh đa ngôn ngữ, đa tác vụ được thu thập từ web, điều này thúc đẩy sự mạnh mẽ của nó.
Bộ mã hóa của Whisper xử lý loại âm thanh nào?
Âm thanh được chuyển đổi thành biểu đồ phổ log-Mel, biểu thị nội dung tần số theo thời gian mà bộ mã hóa Transformer đọc.
Whisper KHÔNG cung cấp khả năng nào?
Whisper xử lý phiên âm, dịch sang tiếng Anh, phát hiện ngôn ngữ và dấu thời gian, nhưng nó không phải là trình tạo video.
Tại sao Whisper lại khơi dậy làn sóng các công cụ và ứng dụng cộng đồng?
Vì OpenAI có mã nguồn mở nên các nhà phát triển có thể chạy Whisper cục bộ và xây dựng nhiều công cụ cũng như triển khai lại nhanh hơn.