NastępnyNastępny poradnik
Spektrogramy Mela
Dźwiękowa sztuczna inteligencja
PRZEWODNIK AI audio
Współczynniki cepstralne częstotliwości Mel
Współczynniki cepstralne częstotliwości Mel (MFCC) to zwarty zestaw liczb, które podsumowują kształt widma częstotliwości dźwięku w sposób, w jaki odbierają je ludzkie uszy.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
For decades they were the workhorse feature for speech recognition, speaker identification, and music analysis.
Głębokie nurkowanie
MFCC konwertują krótki fragment dźwięku na około 13 liczb, które oddają jego barwę. Rurociąg pobiera kształt fali, dzieli go na klatki o długości około 25 ms, oblicza widmo mocy za pomocą transformaty Fouriera, a następnie wypacza oś częstotliwości na skalę mel, która rozdziela pasma w taki sam sposób, jak robi to ślimak: znacznie poniżej 1 kHz i grubo powyżej. Energie mel są kompresowane logarytmicznie (naśladując percepcję głośności) i na koniec przepuszczane przez dyskretną transformację kosinusową, która je dekoreluje i koncentruje informacje w kilku pierwszych współczynnikach. Rezultatem jest odporność na hałas i wysokość głośników, dlatego klasyczne systemy mowy z ukrytym modelem Markowa i modelem mieszanki Gaussa prawie powszechnie opierały się na MFCC przed głębokim uczeniem.
Implementacja w świecie rzeczywistym
Funkcje akustyczne dla klasycznych systemów rozpoznawania mowy HMM-GMM, takich jak wczesne systemy Sphinx i HTK
Weryfikacja mówiącego i diaryzacja, rozróżnianie, kto rozmawia podczas rozmowy
Klasyfikacja gatunków muzycznych i pobieranie odcisków palców utworów (dopasowywanie barwy w stylu Shazam)
Wykrywanie usterek maszyn lub wezwań zwierząt na podstawie dźwięku w monitoringu przemysłowym i bioakustycznym
Przyszłość współczynników cepstralnych częstotliwości Mel
Kompleksowe głębokie sieci w coraz większym stopniu uczą się funkcji bezpośrednio z surowych przebiegów lub spektrogramów log-mel, pomijając DCT, więc czyste MFCC odchodzą od najnowocześniejszego ASR. Mimo to pozostają popularne w przypadku lekkich zadań wykonywanych na urządzeniu i wymagających małej ilości danych: wykrywania słów kluczowych, wykrywania aktywności głosowej, odcisków palców audio i bioakustyki. Oczekuj, że MFCC utrzymają się jako wydajna, możliwa do interpretacji linia bazowa, nawet jeśli w dużych modelach dominują wyuczone front-endy.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Dostęp i zasięg. Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
- Koszt i budżet. Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
- Szybkość i skala. Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Uważaj na
- W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
- Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
- Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Kolejne kroki
- Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
- Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
- Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
- Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Mel-Frequency Cepstral Coefficients quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Mel-Frequency Cepstral Coefficients?
Współczynniki cepstralne częstotliwości Mel (MFCC) to zwarty zestaw liczb, które podsumowują kształt widma częstotliwości dźwięku w sposób, w jaki odbierają je ludzkie uszy. Przez dziesięciolecia były podstawową funkcją rozpoznawania mowy, identyfikacji mówiącego i analizy muzyki.
Do czego odnosi się „mel” w MFCC?
Skala mel wypacza częstotliwość, tak że równe kroki brzmią dla ludzi z jednakową odległością, drobno rozmieszczone przy niskich częstotliwościach i grubo przy wysokich.
Która transformacja jest stosowana jako ostatnia w celu uzyskania współczynników cepstralnych?
Po obliczeniu energii log-mel dyskretna transformata kosinusowa dekoreluje je i pakuje informacje do kilku pierwszych współczynników.
Dlaczego MFCC są stosunkowo odporne na wysokość dźwięku głośnika?
Niskie współczynniki cepstralne wychwytują obwiednię przewodu głosowego (treść fonetyczną), podczas gdy wysokie współczynniki wychwytują wysokość dźwięku, więc utrzymywanie niskich współczynników zmniejsza nacisk.
Mniej więcej, ile współczynników MFCC jest zwykle przechowywanych na klatkę?
Powszechnym wyborem jest około 13 współczynników, czasami powiększonych o ich delty, które w zwięzły sposób podsumowują barwę.
Dlaczego log jest stosowany do energii pasma mel?
Odbiór głośności przez człowieka jest w przybliżeniu logarytmiczny, więc kompresja log sprawia, że funkcje lepiej odpowiadają percepcji i stabilizują zakres dynamiczny.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat