OpenAI Bisik
Whisper ialah sistem pengecaman pertuturan automatik sumber terbuka OpenAI yang menyalin dan menterjemah audio yang dituturkan merentas berpuluh-puluh bahasa.
Gambaran keseluruhan
It matters because it brought robust, free, near-human transcription to anyone who can run the model.
Menyelam dalam
Dikeluarkan pada September 2022, Whisper telah dilatih mengenai kira-kira 680,000 jam audio berbilang tugas berbilang bahasa yang dikumpulkan daripada web. Set data yang besar dan pelbagai itu adalah rahsia kekukuhannya: ia mengendalikan aksen, bunyi latar belakang dan jargon teknikal yang jauh lebih baik daripada sistem lama, tanpa perlu diperhalusi untuk setiap domain baharu. Whisper boleh menyalin pertuturan dalam bahasa asal, menterjemahkan pertuturan daripada banyak bahasa ke dalam bahasa Inggeris, mengenal pasti bahasa pertuturan dan menambah cap masa. OpenAI mengeluarkan berat dan kod model secara terbuka, jadi ia dijalankan secara setempat pada komputer riba atau di pusat data, yang mencetuskan ledakan alatan komuniti, pelaksanaan semula yang lebih pantas dan apl yang dibina di atasnya. Ketepatan berbeza mengikut bahasa dan kualiti audio, dan seperti semua sistem sedemikian, ia kadangkala boleh 'menghaluskan' teks.
Wawasan Teknikal
Whisper ialah penyahkod pengekod Transformer yang dilatih sebagai tugas urutan-ke-jujukan. Audio ditukarkan kepada spektrogram log-Mel, representasi frekuensi seperti visual dari semasa ke semasa, yang diproses oleh pengekod. Penyahkod kemudiannya meramalkan token teks, dikondisikan oleh token khas yang memberitahu model tugas yang perlu dilakukan: menyalin, menterjemah, mengesan bahasa atau menambah cap masa. Kerana ia belajar daripada audio web berlabel lemah merentas banyak tugasan serentak, satu model membuat generalisasi secara meluas dan bukannya ditala untuk satu penanda aras sempit.
Kesan Strategik
Akses dan capai
Ia meningkatkan kebolehcapaian melalui transkripsi, narasi dan antara muka suara.
Kos dan bajet
Pasukan media boleh menghantar audio yang digilap dengan lebih pantas dengan belanjawan yang lebih kecil.
Kelajuan dan skala
Sistem yang menghadapi pelanggan boleh memproses interaksi pertuturan pada skala yang lebih besar.
Masa Depan OpenAI Bisikan
Whisper telah menjadi blok binaan lalai untuk transkripsi, dan arah aliran adalah ke arah varian yang lebih pantas, lebih kecil dan masa nyata yang dijalankan pada telefon dan peranti tepi. Jangkakan sokongan penstriman yang lebih ketat, pemisahan pembesar suara yang lebih baik dan penyepaduan dengan model bahasa yang besar untuk pembersihan, ringkasan dan kapsyen langsung. Wajaran terbuka bermakna komuniti terus mengoptimumkannya, manakala OpenAI dan yang lain mendorong model pertuturan yang lebih baharu. Mengurangkan teks halusinasi, terutamanya dalam penggunaan perubatan dan undang-undang, kekal sebagai keutamaan aktif.
Pelaksanaan Dunia Sebenar
Seorang wartawan menyalin rakaman temu bual secara automatik dan bukannya menaipnya dengan tangan
Platform podcast menjana transkrip dan kapsyen yang boleh dicari untuk setiap episod
Alat mesyuarat menghasilkan kapsyen langsung dan rekod bertulis panggilan video
Seorang penyelidik menterjemahkan rakaman medan bahasa pertuturan ke dalam teks bahasa Inggeris untuk dianalisis
Risiko & Pengawal
Penyalahgunaan suara dan risiko penyamaran meningkat apabila tiada kebenaran.
Ketepatan boleh menurun merentas aksen, dialek atau persekitaran yang bising.
Audio sintetik boleh disalah anggap sebagai pertuturan tulen tanpa pelabelan yang jelas.
Hala Tuju Pelaksanaan
Dapatkan persetujuan yang jelas untuk menangkap suara, pengklonan dan penggunaan semula.
Uji kualiti merentas pelbagai pembesar suara dan keadaan latar belakang.
Tentukan bila manusia mesti menyemak atau meluluskan output.
Labelkan audio sintetik dan simpan rekod asal untuk kebertanggungjawaban.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the OpenAI Whisper quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Penjajaran Perkataan Dicap Masa Bisikan
Soalan lazim
What is OpenAI Whisper?
Whisper ialah sistem pengecaman pertuturan automatik sumber terbuka OpenAI yang menyalin dan menterjemah audio yang dituturkan merentas berpuluh-puluh bahasa. Ia penting kerana ia membawa transkripsi yang mantap, percuma, hampir manusia kepada sesiapa sahaja yang boleh menjalankan model itu.
Apakah tujuan utama Bisikan OpenAI?
Whisper ialah sistem pengecaman pertuturan automatik yang menyalin dan menterjemah audio yang dituturkan merentas banyak bahasa.
Secara kasar berapa banyak audio yang dilatih oleh Whisper?
Whisper telah dilatih mengenai kira-kira 680,000 jam audio berbilang tugas berbilang bahasa yang dikumpulkan daripada web, yang mendorong kekukuhannya.
Apakah perwakilan audio yang diproses oleh pengekod Whisper?
Audio ditukar kepada spektrogram log-Mel, perwakilan kandungan frekuensi dari semasa ke semasa, yang dibaca oleh pengekod Transformer.
Keupayaan manakah yang TIDAK disediakan secara asli oleh Whisper?
Whisper mengendalikan transkripsi, terjemahan kepada bahasa Inggeris, pengesanan bahasa dan cap masa, tetapi ia bukan penjana video.
Mengapakah Whisper mencetuskan gelombang alat dan apl komuniti?
Oleh kerana OpenAI sumber terbuka pemberat dan kod, pembangun boleh menjalankan Whisper secara setempat dan membina banyak alatan serta pelaksanaan semula yang lebih pantas.