A seguirPróximo guia
Espectrogramas Mel
IA de áudio
GUIA de IA de áudio
Os Coeficientes Cepstrais de Frequência Mel (MFCCs) são um conjunto compacto de números que resumem a forma do espectro de frequência de um som da maneira como os ouvidos humanos o percebem.
Ouça este guiaNarrado por IA · ~2 min
For decades they were the workhorse feature for speech recognition, speaker identification, and music analysis.
Os MFCCs convertem uma pequena fatia de áudio em aproximadamente 13 números que capturam seu timbre. O pipeline pega a forma de onda, divide-a em quadros de aproximadamente 25 ms, calcula um espectro de potência por meio da transformada de Fourier e, em seguida, distorce o eixo de frequência na escala mel, que espaça as bandas da mesma forma que a cóclea: finamente abaixo de 1kHz e grosseiramente acima. As energias mel são comprimidas logarítmicas (imitando a percepção de volume) e finalmente passam por uma transformada discreta de cosseno, que as descorrelaciona e concentra informações nos primeiros coeficientes. O resultado é robusto ao ruído e ao tom do alto-falante, razão pela qual os sistemas de fala clássicos do modelo oculto de Markov e do modelo de mistura gaussiana dependiam de MFCCs quase universalmente antes do aprendizado profundo.
Recursos acústicos para reconhecedores de fala HMM-GMM clássicos, como os primeiros sistemas Sphinx e HTK
Verificação e diarização do orador, distinguindo quem está falando em uma chamada
Classificação de gênero musical e impressão digital de músicas (correspondência de timbre no estilo Shazam)
Detecção de falhas de máquinas ou chamados de animais a partir de áudio em monitoramento industrial e bioacústico
Redes profundas de ponta a ponta aprendem cada vez mais recursos diretamente de formas de onda brutas ou espectrogramas log-mel, ignorando o DCT, de modo que os MFCCs puros estão desaparecendo do ASR de última geração. No entanto, eles continuam populares para tarefas leves, no dispositivo e com poucos dados: detecção de palavras-chave, detecção de atividade de voz, impressão digital de áudio e bioacústica. Espere que os MFCCs persistam como uma linha de base eficiente e interpretável, mesmo que os front-ends aprendidos dominem os grandes modelos.
Boletim informativo gratuito
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Os Coeficientes Cepstrais de Frequência Mel (MFCCs) são um conjunto compacto de números que resumem a forma do espectro de frequência de um som da maneira como os ouvidos humanos o percebem. Durante décadas, eles foram o principal recurso para reconhecimento de fala, identificação de locutores e análise musical.
A escala mel distorce a frequência para que passos iguais soem igualmente distantes entre si para os humanos, espaçados finamente em frequências baixas e grosseiramente em frequências altas.
Depois que as energias log-mel são calculadas, uma transformada discreta de cosseno as correlaciona e agrupa as informações nos primeiros coeficientes.
Os coeficientes cepstrais baixos capturam o envelope do trato vocal (conteúdo fonético), enquanto os altos capturam o tom, portanto, manter os baixos diminui a ênfase no tom.
Uma escolha comum é cerca de 13 coeficientes, às vezes aumentados com seus deltas, que resumem o timbre de forma compacta.
A percepção humana do volume é aproximadamente logarítmica, portanto a compressão do log faz com que os recursos correspondam melhor à percepção e estabilize a faixa dinâmica.
Continue aprendendo
Mais guias escolhidos para este tópico
A seguirPróximo guia
Espectrogramas Mel
IA de áudio