LegközelebbKövetkező útmutató
Mel spektrogramok
Hangalapú AI
Audio AI ÚTMUTATÓ
A Mel-Frequency Cepstral Coefficients (MFCC) olyan kompakt számkészlet, amely összefoglalja a hang frekvenciaspektrumának alakját, ahogyan azt az emberi fül érzékeli.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Évtizedeken át a beszédfelismerés, a hangszóró azonosítás és a zeneelemzés igáslószerei voltak.
Az MFCC-k a hang egy rövid szeletét nagyjából 13 számmá alakítják, amelyek rögzítik annak hangszínét. A csővezeték felveszi a hullámformát, ~25 ms-os keretekre bontja, a Fourier-transzformáción keresztül kiszámol egy teljesítményspektrumot, majd a frekvencia tengelyét a mel-skálára vetemíti, amely úgy tereli el a sávokat, ahogyan a cochlea: finoman 1 kHz alatt és durván felette. A mel energiákat log-összenyomja (utánozza a hangosság érzékelését), végül egy diszkrét koszinusz transzformáción halad át, amely dekorrelálja őket, és az információt az első néhány együtthatóba koncentrálja. Az eredmény robusztus a zaj és a hangmagasság tekintetében, ezért a klasszikus Rejtett Markov-modell és a Gaussian Mixture Model beszédrendszerek szinte általánosan az MFCC-kre támaszkodtak a mély tanulás előtt.
Akusztikai jellemzők a klasszikus HMM-GMM beszédfelismerőkhöz, mint például a korai Sphinx és HTK rendszerek
A hangszóró ellenőrzése és naplózása, megkülönböztetve, hogy ki beszél hívás közben
Zenei műfaji besorolás és a dal ujjlenyomata (Shazam-stílusú hangszín egyeztetés)
Géphibák vagy állati hívások észlelése hangból az ipari és bioakusztikus monitorozásban
A végpontok közötti mélyhálózatok egyre inkább közvetlenül nyers hullámformákból vagy log-mel spektrogramokból tanulják meg a funkciókat, kihagyva a DCT-t, így a tiszta MFCC-k elhalványulnak a legmodernebb ASR-től. Ennek ellenére továbbra is népszerűek a könnyű, eszközön és alacsony adatforgalmat igénylő feladatoknál: kulcsszófelderítés, hangtevékenység-észlelés, audio-ujjlenyomat-vétel és bioakusztika. Arra számíthat, hogy az MFCC-k hatékony, értelmezhető alapvonalként maradnak meg, még akkor is, ha a tanult front-endek uralják a nagy modelleket.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Mel-Frequency Cepstral Coefficients (MFCC) olyan kompakt számkészlet, amely összefoglalja a hang frekvenciaspektrumának alakját, ahogyan azt az emberi fül érzékeli. Évtizedeken át a beszédfelismerés, a hangszóró azonosítás és a zeneelemzés igáslószerei voltak.
A mel skála elvetemíti a frekvenciát, így az egyenlő lépések egyenlő távolságban szólalnak meg egymástól, alacsony frekvenciákon finoman, magas frekvenciákon pedig durván.
A log-mel energiák kiszámítása után egy diszkrét koszinusz transzformáció díszíti őket, és az információkat az első néhány együtthatóba csomagolja.
Az alacsony cepstralis együtthatók rögzítik a vokális traktus burkot (fonetikai tartalmat), míg a magasak a hangmagasságot, így az alacsonyak tartása csökkenti a hangmagasságot.
Gyakori választás körülbelül 13 együttható, néha deltákkal kiegészítve, amelyek tömören összegzik a hangszínt.
Az emberi hangerő érzékelése nagyjából logaritmikus, így a naplózási tömörítés révén a funkciók jobban illeszkednek az észleléshez, és stabilizálja a dinamikatartományt.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Mel spektrogramok
Hangalapú AI