SeterusnyaPanduan seterusnya
Faktor Outlier Tempatan
Teknikal
PANDUAN Teknikal
Faster-Whisper dan whisper.cpp ialah masa jalan komuniti untuk menjalankan model pengecaman pertuturan Whisper dengan pertukaran pelaksanaan dan penggunaan yang berbeza.
Dengar panduan iniAI-diceritakan · ~3 min
Mereka boleh menjadikan transkripsi tempatan praktikal pada perkakasan yang disokong, tetapi kelajuan, ingatan, tingkah laku bahasa dan ketepatan bergantung pada model, kuantisasi dan tetapan masa jalan.
Whisper ialah keluarga model pengecaman pertuturan yang dilatih untuk tugasan seperti transkripsi dan terjemahan berbilang bahasa. Faster-Whisper ialah pelaksanaan yang menjalankan model Whisper melalui CTranslate2, manakala whisper.cpp ialah port C dan C++ yang direka untuk dijalankan merentasi pelbagai platform. Kedua-duanya bertujuan untuk menjadikan inferens lebih cekap atau mudah alih daripada persediaan rujukan mudah, tetapi mereka melakukannya melalui susunan perisian yang berbeza. Pelaksanaan tempatan boleh mengurangkan keperluan untuk memuat naik audio ke perkhidmatan luaran dan boleh membantu dengan pemprosesan luar talian. Ini juga bermakna pengendali mengurus muat turun model, storan, kebergantungan masa jalan dan keserasian perkakasan. Fail model mungkin menduduki ruang cakera yang besar, dan kelajuan inferens bergantung pada saiz model, CPU atau GPU, pecutan yang disokong, batching, kuantisasi dan panjang audio. Pengkuantitian boleh mengurangkan ingatan atau meningkatkan daya pemprosesan, tetapi boleh menjejaskan kualiti transkripsi; mengukur tradeoff daripada menganggap ia boleh diabaikan. Masa jalan boleh berbeza dalam pemasangan, penukaran model yang disokong, hujung belakang peranti, tingkah laku penstriman dan pilihan penyahkodan. Sokongan ciri berkembang, jadi semak dokumentasi semasa untuk versi dan perkakasan yang tepat. Penanda aras hanya bermakna jika ia menamakan model, ketepatan, tetapan rasuk atau penyahkodan, tempoh input, peranti dan set penilaian. Prestasi masa nyata pada klip bersih pendek tidak meramalkan rakaman panjang dengan pembesar suara atau bunyi yang bertindih. Whisper menghasilkan teks yang masih memerlukan semakan. Kata nama khas, perbendaharaan kata khusus, aksen, pertuturan latar belakang dan penutur yang bertindih boleh menyebabkan kesilapan. Transkrip hendaklah disemak apabila kesilapan menjejaskan keputusan, rekod atau petikan. Kadar ralat perkataan boleh membandingkan hipotesis dengan rujukan, tetapi kegunaannya bergantung pada konvensyen penormalan dan data ujian perwakilan. Berjalan secara tempatan tidak secara automatik peribadi atau patuh. Sahkan tempat audio dan model disimpan, sama ada log mengekalkan kandungan, siapa yang boleh mengakses fail dan keperluan persetujuan dan pengekalan yang berkenaan. Pastikan versi model dan masa jalan disematkan, dan sertakan semakan manusia apabila ketepatan transkrip penting.
Seorang wartawan menyalin temu bual di stesen kerja tanpa menghantar rakaman ke perkhidmatan yang dihoskan, kemudian menyemak nama dan istilah teknikal secara manual.
Pembangun menanda aras Faster-Whisper pada GPU yang serasi dan whisper.cpp pada CPU komputer riba menggunakan tetapan kualiti audio dan model yang sama.
Pasukan yang mementingkan privasi menyemak pelesenan model, tingkah laku cache setempat dan telemetri sebelum memproses rakaman sensitif.
Seorang jurutera membandingkan varian model terkuantisasi dan ketepatan penuh pada set penilaian yang mewakili, termasuk kadar ralat perkataan dan penggunaan memori.
Waktu jalan pertuturan tempatan akan terus mendapat manfaat daripada pemproses yang lebih pantas, kernel yang dioptimumkan dan perwakilan model yang lebih kecil. Itu mungkin meluaskan penggunaan luar talian pada peranti peribadi dan perkakasan tepi, manakala projek yang berbeza berkembang pada kadar yang berbeza. Pengguna harus mengharapkan sokongan dan prestasi berbeza mengikut platform dan keluaran. Penggunaan praktikal akan mengekalkan mengimbangi kelajuan, ketepatan, storan model, belanjawan bateri atau memori, kawalan privasi dan semakan manusia terhadap kandungan yang terdedah kepada ralat. Ujian keserasian harus diulang selepas masa jalan atau perubahan perkakasan. Ulangi penanda aras selepas naik taraf.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Faster-Whisper dan whisper.cpp ialah masa jalan komuniti untuk menjalankan model pengecaman pertuturan Whisper dengan pertukaran pelaksanaan dan penggunaan yang berbeza. Mereka boleh menjadikan transkripsi tempatan praktikal pada perkakasan yang disokong, tetapi kelajuan, ingatan, tingkah laku bahasa dan ketepatan bergantung pada model, kuantisasi dan tetapan masa jalan.
Faster-Whisper melaksanakan inferens Whisper menggunakan CTranslate2.
Pengkuantitian mengubah ketepatan berangka dan boleh menjejaskan kualiti keluaran.
Keadaan penanda aras menentukan daya pemprosesan yang diukur dan mesti setanding.
WER membandingkan perkataan yang diiktiraf dengan rujukan, jadi konvensyen tokenisasi dan normalisasi penting.
Pemprosesan tempatan mengubah aliran data tetapi tidak menyelesaikan semua keperluan privasi dan tadbir urus.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Faktor Outlier Tempatan
Teknikal