Rozpoznawanie mowy szeptanej
Whisper to system automatycznego rozpoznawania mowy typu open source firmy OpenAI, który zamienia dźwięk na tekst w ponad 90 językach.
Przegląd
It matters because it brought near-human transcription quality to everyone for free, working robustly on accents, background noise, and technical jargon.
Głębokie nurkowanie
Wydany przez OpenAI we wrześniu 2022 r. Whisper to model kodera-dekodera oparty na Transformerze, wyszkolony na podstawie 680 000 godzin wielojęzycznego, wielozadaniowego dźwięku pobranego z Internetu. W przeciwieństwie do wcześniejszych systemów, które wymagały czystych, oznaczonych etykietami danych, Whisper uczył się na podstawie niechlujnych nagrań w świecie rzeczywistym, dzięki czemu był wyjątkowo odporny na akcenty, szumy i przesłuchy. Pojedynczy model obsługuje transkrypcję, tłumaczenie na język angielski, identyfikację języka i znaczniki czasu. Jest dostępny w rozmiarach od „małego” (parametry 39M) do „dużego” (1,55B), umożliwiając użytkownikom zamianę szybkości na dokładność. Ponieważ wagi są objęte otwartą licencją MIT, Whisper niemal z dnia na dzień stał się domyślnym szkieletem dla niezliczonych programów do transkrypcji podcastów, narzędzi do tworzenia napisów i aplikacji głosowych.
Wgląd techniczny
Whisper dzieli dźwięk na 30-sekundowe fragmenty, konwertuje każdy z nich na spektrogram log-Mel (80 kanałów częstotliwości) i przesyła go do kodera Transformera. Następnie dekoder przewiduje tokeny tekstowe w sposób autoregresyjny, kierując się specjalnymi tokenami, które określają zadanie (transkrypcja lub tłumaczenie), język i to, czy emitować znaczniki czasu. To wielozadaniowe warunkowanie tokenów to sprytna sztuczka: jeden zestaw wag wykonuje wiele zadań w zależności od tokenów podpowiedzi dostarczonych na początku dekodowania.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość rozpoznawania mowy szeptanej
Whisper wywołał falę szybszych pochodnych, takich jak Whisper.cpp, szybsze wersje szeptów i wersje destylowane, które działają w czasie rzeczywistym na telefonach i laptopach. Spodziewaj się wariantów o ściślejszym przesyłaniu strumieniowym (małym opóźnieniu), lepszej diaaryzacji głośników w połączeniu z nimi i lepszej wydajności w językach o niskich zasobach. W miarę rozwoju sztucznej inteligencji audio na urządzeniach lekkie modele w stylu Whisper prawdopodobnie będą obsługiwać napisy na żywo, notatki ze spotkań i narzędzia ułatwień dostępu całkowicie w trybie offline, zachowując prywatność, a jednocześnie dorównując dokładnością na poziomie chmury.
Implementacja w świecie rzeczywistym
Automatyczne generowanie transkrypcji i napisów do podcastów i filmów na YouTube z możliwością wyszukiwania
Zasilanie aplikacji do tworzenia notatek ze spotkań na żywo, które tworzą podsumowania z dźwięku Zoom lub Teams
Tłumaczenie wywiadów obcojęzycznych bezpośrednio na tekst angielski dla dziennikarzy
Tworzenie narzędzi ułatwień dostępu sterowanych głosem i funkcji dyktowania dla użytkowników, którzy nie potrafią pisać
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Whisper Speech Recognition quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Rozpoznawanie emocji w mowie
Często zadawane pytania
What is Whisper Speech Recognition?
Whisper to system automatycznego rozpoznawania mowy typu open source firmy OpenAI, który zamienia dźwięk na tekst w ponad 90 językach. Ma to znaczenie, ponieważ zapewnia każdemu za darmo jakość transkrypcji zbliżoną do ludzkiej, skutecznie radząc sobie z akcentami, hałasem w tle i żargonem technicznym.
Mniej więcej, na ilu godzinach dźwięku Whisper był szkolony?
Whisper został przeszkolony na podstawie około 680 000 godzin wielojęzycznego, wielozadaniowego materiału audio pobranego z Internetu, co stanowi niezwykle duży i zróżnicowany zbiór danych.
Jaką pośrednią reprezentację oblicza Whisper z surowego dźwięku przed koderem?
Whisper konwertuje każdy 30-sekundowy fragment audio na 80-kanałowy spektrogram log-Mel, który przetwarza koder Transformer.
W jaki sposób pojedynczy model Whisper wykonuje wiele zadań, takich jak transkrypcja i tłumaczenie?
Szepcz warunki na specjalnych tokenach na początku dekodowania, które informują go o języku, zadaniu i tym, czy emitować znaczniki czasu.
Z jakiej ogólnej architektury neuronowej korzysta Whisper?
Whisper jest transformatorem koder-dekoder: koder odczytuje spektrogram, a dekoder generuje tokeny tekstowe w sposób autoregresyjny.
Dlaczego Whisper jest uważany za szczególnie wytrzymały w porównaniu do wcześniejszych systemów ASR?
Trening na ogromnej ilości zróżnicowanego, rzeczywistego dźwięku (akcenty, szum, przesłuchy) zapewnił Whisperowi dużą, gotową do użycia niezawodność bez konieczności dostrajania poszczególnych domen.