LegközelebbKövetkező útmutató
Konformer építészet
Hangalapú AI
Audio AI ÚTMUTATÓ
A DeepSpeech egy, a Baidu által 2014-ben bevezetett végpontok közötti beszédfelismerő modell, amely a nyers hangjellemzőket közvetlenül a szövegre képezi le egy ismétlődő neurális hálózat segítségével, amely a CTC veszteséggel rendelkezik.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Úttörő szerepet játszott abban, hogy az összetett, kézzel tervezett ASR-folyamatokról a tanult, adatvezérelt rendszerek irányába mozduljanak el.
A klasszikus beszédfelismerők különálló akusztikus modelleket, kiejtési szótárakat és nyelvi modelleket varrtak össze kézzel hangolt összetevőkkel. A DeepSpeech ennek nagy részét egyetlen végpontokig betanított neurális hálózattal helyettesítette. Architektúrája spektrogram vagy MFCC funkciókat vesz át rövid hangkockákon, és több, teljesen összekapcsolt rétegen, egy kétirányú ismétlődő rétegen, amely a múltból és a jövőből rögzíti a kontextust, és egy kimeneti rétegen keresztül, amely minden időlépésben a karakterek közötti valószínűségi eloszlást hozza létre. Lényeges, hogy a Connectionist Temporal Classification (CTC) funkciót használja, amely lehetővé teszi, hogy a hálózat megtanulja a hang és a szöveg közötti igazítást anélkül, hogy keretszintű címkékre lenne szüksége. A Mozilla később kiadott egy népszerű nyílt forráskódú implementációt (az újabb verziók LSTM-alapú, streamelhető kialakítást használnak), így a megközelítés széles körben elérhetővé vált.
Offline, az eszközön található hangutasítás-felismerés az adatvédelemre összpontosító alkalmazásokhoz a Mozilla nyílt DeepSpeech segítségével
Podcastok vagy előadások átiratainak piszkozatának létrehozása felhőszolgáltatás igénybevétele nélkül
A végponttól végpontig terjedő ASR és CTC veszteség alapjainak oktatása egyetemi gépi tanulási kurzusokon
Egyedi hanginterfészek készítése IoT vagy beágyazott eszközök számára, ahol könnyű, streamelhető felismerőre van szükség
Magát a DeepSpeech-et nagyrészt felváltották a figyelem- és transzformátor-alapú architektúrák (Conformer, Whisper, wav2vec 2.0), amelyek hosszabb kontextust rögzítenek, és önfelügyelnek a címkézetlen hangon. De alapvető ötletei, a végpontok közötti képzés és a CTC dekódolás alapvetőek maradnak, és továbbra is megjelennek a modern hibrid rendszerekben. Az örökség fogalmi jellegű: bebizonyította, hogy egyetlen tanult modell vetekedhet az erősen megtervezett csővezetékekkel, megnyitva az utat a mai nagy, többnyelvű, önfelügyelt beszédalapmodellek előtt.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A DeepSpeech egy, a Baidu által 2014-ben bevezetett végpontok közötti beszédfelismerő modell, amely a nyers hangjellemzőket közvetlenül a szövegre képezi le egy ismétlődő neurális hálózat segítségével, amely a CTC veszteséggel rendelkezik. Úttörő szerepet játszott abban, hogy az összetett, kézzel tervezett ASR-folyamatokról a tanult, adatvezérelt rendszerek irányába mozduljanak el.
A CTC bevezet egy üres szimbólumot, és összegzi az összes érvényes igazítást a célszöveghez, így nincs szükség képkockánkénti címkékre.
A DeepSpeech a hagyományos többlépcsős csővezetéket egy végpontokig betanított neurális hálózatra cserélte, ami jelentős változás az ASR tervezésében.
A kétirányú RNN mindkét irányban feldolgozza a szekvenciát, így minden kimenet kihasználja a környező akusztikus környezetet, ami javítja a pontosságot.
A modell keretszintű hangszolgáltatásokat használ, például spektrogramokat vagy MFCC-ket, és minden időlépéshez karakteres valószínűségeket ad ki.
Az akusztikus kimenet kombinálása egy külső nyelvi modellel a dekódolás során segíti a rendszert, hogy hihetőbb szavakat és helyesírásokat állítson elő.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Konformer építészet
Hangalapú AI