NastępnyNastępny poradnik
Architektura konformistyczna
Dźwiękowa sztuczna inteligencja
PRZEWODNIK AI audio
Architektura DeepSpeech
DeepSpeech to kompleksowy model rozpoznawania mowy wprowadzony przez Baidu w 2014 roku, który odwzorowuje surowe funkcje audio bezpośrednio na tekst za pomocą rekurencyjnej sieci neuronowej przeszkolonej pod kątem utraty CTC.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Pomogło to w pionierskim odejściu od złożonych, ręcznie konstruowanych rurociągów ASR na rzecz wyuczonych systemów opartych na danych.
Głębokie nurkowanie
Klasyczne moduły rozpoznawania mowy połączyły oddzielne modele akustyczne, słowniki wymowy i modele językowe z ręcznie dostrojonymi komponentami. DeepSpeech zastąpił większość tego pojedynczą siecią neuronową przeszkoloną od początku do końca. Jego architektura wykorzystuje funkcje spektrogramu lub MFCC w krótkich klatkach audio i przepuszcza je przez kilka w pełni połączonych warstw, dwukierunkową warstwę rekurencyjną, która przechwytuje kontekst z przeszłości i przyszłości, oraz warstwę wyjściową generującą rozkład prawdopodobieństwa dla znaków w każdym kroku czasowym. Co najważniejsze, wykorzystuje koneksjonistyczną klasyfikację czasową (CTC), która pozwala sieci uczyć się dopasowań między dźwiękiem i tekstem bez konieczności stosowania etykiet na poziomie klatki. Mozilla wypuściła później popularną implementację typu open source (z nowszymi wersjami wykorzystującymi konstrukcję opartą na LSTM, nadającą się do strumieniowego przesyłania), dzięki czemu podejście to było powszechnie dostępne.
Implementacja w świecie rzeczywistym
Rozpoznawanie poleceń głosowych w trybie offline na urządzeniu dla aplikacji zapewniających prywatność przy użyciu otwartego DeepSpeech firmy Mozilla
Generowanie wersji roboczych transkrypcji podcastów lub wykładów bez korzystania z usługi w chmurze
Nauczanie podstaw kompleksowych strat ASR i CTC na uniwersyteckich kursach uczenia maszynowego
Tworzenie niestandardowych interfejsów głosowych dla IoT lub urządzeń wbudowanych, gdzie potrzebny jest lekki, strumieniowy moduł rozpoznawania
Przyszłość architektury DeepSpeech
Sam DeepSpeech został w dużej mierze zastąpiony przez architektury oparte na uwadze i transformatorze (Conformer, Whisper, wav2vec 2.0), które przechwytują dłuższy kontekst i samodzielnie nadzorują nieoznakowany dźwięk. Jednak jego podstawowe idee, kompleksowe szkolenie i dekodowanie CTC, pozostają fundamentalne i nadal pojawiają się w nowoczesnych systemach hybrydowych. Spuścizna ma charakter koncepcyjny: udowodniono, że pojedynczy wyuczony model może konkurować z skomplikowanymi potokami, torując drogę dzisiejszym dużym, wielojęzycznym, samonadzorowanym modelom mowy.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Dostęp i zasięg. Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
- Koszt i budżet. Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
- Szybkość i skala. Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Uważaj na
- W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
- Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
- Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Kolejne kroki
- Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
- Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
- Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
- Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the DeepSpeech Architecture quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czym jest architektura DeepSpeech?
DeepSpeech to kompleksowy model rozpoznawania mowy wprowadzony przez Baidu w 2014 roku, który odwzorowuje surowe funkcje audio bezpośrednio na tekst za pomocą rekurencyjnej sieci neuronowej przeszkolonej pod kątem utraty CTC. Pomogło to w pionierskim odejściu od złożonych, ręcznie konstruowanych rurociągów ASR na rzecz wyuczonych systemów opartych na danych.
Jaka funkcja utraty umożliwia trenowanie DeepSpeech bez wyrównania dźwięku i tekstu na poziomie klatki?
CTC wprowadza pusty symbol i sumy wszystkich prawidłowych wyrównań zwijających się do tekstu docelowego, eliminując potrzebę stosowania etykiet dla poszczególnych klatek.
Jaka była główna filozofia architektury spopularyzowana przez DeepSpeech?
DeepSpeech zastąpił tradycyjny, wieloetapowy potok jedną siecią neuronową przeszkoloną od początku do końca, co stanowiło poważną zmianę w projektowaniu ASR.
Dlaczego DeepSpeech używa dwukierunkowej warstwy cyklicznej?
Dwukierunkowy RNN przetwarza sekwencję w obu kierunkach, więc każdy sygnał wyjściowy korzysta z otaczającego kontekstu akustycznego, poprawiając dokładność.
Na jakich funkcjach wejściowych zazwyczaj działa DeepSpeech?
Model wykorzystuje funkcje audio na poziomie klatki, takie jak spektrogramy lub MFCC, i generuje prawdopodobieństwa znaków dla każdego kroku czasowego.
Co jest często dodawane podczas dekodowania, aby poprawić dobór słów i pisownię w DeepSpeech?
Połączenie sygnału akustycznego z zewnętrznym modelem języka podczas dekodowania pomaga systemowi w tworzeniu bardziej wiarygodnych słów i pisowni.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat