Zvukový průvodce AI

Šeptání Rozpoznávání řeči

Whisper je vícejazyčný model pro rozpoznávání řeči od OpenAI, trénovaný pomocí velkoobjemového slabého dozoru na přibližně 680 000 hodinách audia sesbíraného z webu.

Poslechněte si tento návodAI-vyprávěný · ~1 min

Na této stránce1 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost rozpoznávání řeči šepotem
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Jeho design kodéru-dekodéru podporuje přepis, anglický překlad, identifikaci jazyka a časová razítka, přičemž přesnost se liší podle jazyka, záznamu a úkolu.

Hluboký ponor

Whisper, představený v roce 2022, je kodér a dekodér Transformer vyškolený na přibližně 680 000 hodinách vícejazyčného zvuku spárovaného s přepisy nebo překladovým textem shromážděným z webu. Data jsou mezi jazyky nerovnoměrná a výkon se liší podle jazyka a úkolu. Whisper zpracovává zvuk v 30sekundových blocích a používá tokeny úkolů a jazyků k výběru přepisu, anglického překladu nebo výstupu s časovým razítkem. Uvolněné váhy a odvozený kód jsou pod licencí MIT.

Real-World Implementace

Automatické generování prohledávatelných přepisů a titulků pro podcasty a videa na YouTube

Napájení aplikací pro živé poznámky ze schůzek, které vytvářejí souhrny ze zvuku Zoom nebo Teams

Překlad cizojazyčných rozhovorů přímo do anglického textu pro novináře

Vytváření hlasem ovládaných nástrojů pro usnadnění a diktování pro uživatele, kteří nemohou psát

Budoucnost rozpoznávání řeči šepotem

Vydání Whisper podporuje aplikace pro přepis a titulky. Výkon v reálném světě závisí na jazykovém pokrytí, kvalitě zvuku, přízvuku, slovní zásobě domény a podmínkách hodnocení. Změřte chybovost na reprezentativních záznamech s kontrolou člověkem tam, kde mají přepisy následné použití.

Uvedení do praxe

Proč na tom záleží

  • Přístup a dosah. Zlepšuje dostupnost prostřednictvím přepisu, vyprávění a hlasových rozhraní.
  • Cena a rozpočet. Mediální týmy mohou dodávat vylepšený zvuk rychleji s menšími rozpočty.
  • Rychlost a měřítko. Systémy orientované na zákazníky mohou zpracovávat mluvené interakce ve větším měřítku.

Pozor na

  • Pokud chybí souhlas, zvyšuje se riziko zneužití hlasu a předstírání jiné identity.
  • Přesnost může klesat v přízvuku, dialektech nebo hlučném prostředí.
  • Syntetický zvuk lze bez jasného označení zaměnit za autentickou řeč.

Další kroky

  1. Získejte výslovný souhlas se zachycením hlasu, klonováním a opětovným použitím.
  2. Otestujte kvalitu napříč různými reproduktory a podmínkami pozadí.
  3. Definujte, kdy musí člověk zkontrolovat nebo schválit výstupy.
  4. Označte syntetický zvuk a veďte záznamy o původu pro zajištění odpovědnosti.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Udělejte si kvíz Rozpoznávání šepot řeči

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je rozpoznávání šepotu řeči?

Whisper je vícejazyčný model rozpoznávání řeči OpenAI, trénovaný s rozsáhlým slabým dohledem na přibližně 680 000 hodinách zvuku shromážděného z webu. Jeho design kodéru-dekodéru podporuje přepis, anglický překlad, identifikaci jazyka a časová razítka, přičemž přesnost se liší podle jazyka, záznamu a úkolu.

Přibližně na kolika hodinách zvuku byl Whisper trénován?

Whisper byl trénován na přibližně 680 000 hodinách vícejazyčného multitaskového zvuku shromážděného z webu, což je neobvykle velký a rozmanitý soubor dat.

Jakou střední reprezentaci Whisper vypočítá z nezpracovaného zvuku před kodérem?

Whisper převádí každý 30sekundový audio blok na 80kanálový log-Mel spektrogram, který kodér Transformer zpracovává.

Jak jediný model Whisper provádí více úkolů, jako je přepis a překlad?

Na začátku dekódování zašeptejte podmínky na speciální tokeny, které mu sdělí jazyk, úkol a zda má vysílat časová razítka.

Jakou celkovou neuronovou architekturu Whisper používá?

Whisper je kodér-dekodér Transformer: kodér čte spektrogram a dekodér generuje textové tokeny autoregresivně.

Proč je Whisper považován za obzvláště robustní ve srovnání s dřívějšími systémy ASR?

Trénink na obrovském množství různorodého zvuku z reálného světa (akcenty, šum, přeslechy) poskytl Whisperu silnou robustnost bez ladění pro jednotlivé domény.