NastępnyNastępny poradnik
Speech Recognition for People with Atypical Speech
Dźwiękowa sztuczna inteligencja
PRZEWODNIK AI audio
Rozpoznawanie mowy szeptanej
Whisper to wielojęzyczny model rozpoznawania mowy firmy OpenAI, wytrenowany przy użyciu słabego nadzoru na dużą skalę na około 680 000 godzin dźwięku zebranego z sieci.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~1 min
Na tej stronie1 minuta czytania
Przegląd
Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Głębokie nurkowanie
Introduced in 2022, Whisper is a Transformer encoder-decoder trained on approximately 680,000 hours of multilingual audio paired with transcripts or translation text collected from the web. The data is uneven across languages, and performance varies by language and task. Whisper processes audio in 30-second chunks and uses task and language tokens to select transcription, English translation, or timestamped output. Released weights and inference code are under the MIT license.
Implementacja w świecie rzeczywistym
Automatyczne generowanie transkrypcji i napisów do podcastów i filmów na YouTube z możliwością wyszukiwania
Zasilanie aplikacji do tworzenia notatek ze spotkań na żywo, które tworzą podsumowania z dźwięku Zoom lub Teams
Tłumaczenie wywiadów obcojęzycznych bezpośrednio na tekst angielski dla dziennikarzy
Tworzenie narzędzi ułatwień dostępu sterowanych głosem i funkcji dyktowania dla użytkowników, którzy nie potrafią pisać
Przyszłość rozpoznawania mowy szeptanej
Whisper’s release supports transcription and captioning applications. Real-world performance depends on language coverage, audio quality, accents, domain vocabulary, and evaluation conditions. Measure error rates on representative recordings, with human review where transcripts have consequential use.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Dostęp i zasięg. Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
- Koszt i budżet. Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
- Szybkość i skala. Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Uważaj na
- W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
- Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
- Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Kolejne kroki
- Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
- Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
- Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
- Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Whisper Speech Recognition quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Whisper Speech Recognition?
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio. Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Mniej więcej, na ilu godzinach dźwięku Whisper był szkolony?
Whisper został przeszkolony na podstawie około 680 000 godzin wielojęzycznego, wielozadaniowego materiału audio pobranego z Internetu, co stanowi niezwykle duży i zróżnicowany zbiór danych.
Jaką pośrednią reprezentację oblicza Whisper z surowego dźwięku przed koderem?
Whisper konwertuje każdy 30-sekundowy fragment audio na 80-kanałowy spektrogram log-Mel, który przetwarza koder Transformer.
W jaki sposób pojedynczy model Whisper wykonuje wiele zadań, takich jak transkrypcja i tłumaczenie?
Szepcz warunki na specjalnych tokenach na początku dekodowania, które informują go o języku, zadaniu i tym, czy emitować znaczniki czasu.
Z jakiej ogólnej architektury neuronowej korzysta Whisper?
Whisper jest transformatorem koder-dekoder: koder odczytuje spektrogram, a dekoder generuje tokeny tekstowe w sposób autoregresyjny.
Dlaczego Whisper jest uważany za szczególnie wytrzymały w porównaniu do wcześniejszych systemów ASR?
Trening na ogromnej ilości zróżnicowanego, rzeczywistego dźwięku (akcenty, szum, przesłuchy) zapewnił Whisperowi dużą, gotową do użycia niezawodność bez konieczności dostrajania poszczególnych domen.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat