Estimativa de pitch CREPE
CREPE é um modelo de aprendizagem profunda que estima a frequência fundamental (pitch) de um sinal de áudio monofônico diretamente de sua forma de onda bruta.
Visão geral
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Mergulho profundo
CREPE (Representação Convolucional para Estimativa de Tom), introduzido em 2018 por Kim, Salamon, Li e Bello, prevê o tom de áudio de nota única (monofônico), como uma voz cantada ou instrumento solo. Ao contrário de algoritmos clássicos como YIN ou pYIN, que dependem da autocorrelação do sinal, o CREPE é uma rede neural convolucional profunda treinada diretamente em quadros de áudio no domínio do tempo. Ele enquadra a estimativa de altura como um problema de classificação: produz uma distribuição de probabilidade em 360 caixas de altura, abrangendo aproximadamente seis oitavas, cada uma com 20 centavos de distância. A faixa com maior ativação, refinada com uma média ponderada local, fornece a frequência estimada mais uma pontuação de confiança. O CREPE provou ser marcadamente mais robusto do que os métodos de processamento de sinais, especialmente sob ruído, e agora é um componente padrão em muitos pipelines de análise de música e fala.
Visão Técnica
O CREPE pega um quadro de áudio de 1.024 amostras e o passa por seis camadas convolucionais empilhadas, terminando em uma camada de saída de 360 unidades com ativações sigmóides. Cada unidade corresponde a um compartimento de altura espaçado de 20 centavos entre si em cerca de seis oitavas. A rede é treinada com entropia cruzada binária contra um alvo desfocado gaussiano centrado no tom verdadeiro. Na inferência, a frequência prevista é a média ponderada local das ativações em torno do intervalo de pico, e a altura do pico serve como um valor de confiança.
Impacto Estratégico
Acesso e alcance
Melhora a acessibilidade por meio de transcrição, narração e interfaces de voz.
Custo e orçamento
As equipes de mídia podem enviar áudio sofisticado com mais rapidez e com orçamentos menores.
Velocidade e escala
Os sistemas voltados para o cliente podem processar interações faladas em maior escala.
O futuro da estimativa de pitch CREPE
A estimativa de tom está migrando para modelos conjuntos que lidam com polifonia (múltiplas notas simultâneas), menor latência para ajuste em tempo real e harmonia automática, e redes destiladas menores que funcionam em telefones e dispositivos incorporados. Os resultados de confiança do CREPE são cada vez mais utilizados em tarefas posteriores, como transcrição automática, correção vocal e análise de desempenho expressivo. Abordagens auto-supervisionadas e multitarefa que aprendem o tom junto com o timbre e a articulação provavelmente estenderão a precisão do estilo CREPE além do áudio monofônico limpo.
Implementação no mundo real
Rastreando o tom de um cantor para obter feedback de ajuste em tempo real em aplicativos de treinamento vocal
Condução de ferramentas de ajuste automático e correção de pitch com curvas precisas de frequência fundamental
Transcrever melodias de instrumentos solo em MIDI ou partituras
Analisando entonação e vibrato na educação musical e na pesquisa performática
Riscos e guarda-corpos
Os riscos de uso indevido de voz e falsificação de identidade aumentam quando falta consentimento.
A precisão pode diminuir em sotaques, dialetos ou ambientes barulhentos.
O áudio sintético pode ser confundido com fala autêntica sem uma rotulagem clara.
Roteiro de implementação
Obtenha consentimento explícito para captura, clonagem e reutilização de voz.
Teste a qualidade em diversos alto-falantes e condições de fundo.
Defina quando um ser humano deve revisar ou aprovar os resultados.
Rotule o áudio sintético e mantenha registros de procedência para fins de prestação de contas.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
TTS FastPitch Pitch controlável
Perguntas frequentes
What is CREPE Pitch Estimation?
CREPE é um modelo de aprendizagem profunda que estima a frequência fundamental (pitch) de um sinal de áudio monofônico diretamente de sua forma de onda bruta. Ele estabeleceu um novo padrão de precisão para rastreamento de pitch, especialmente em gravações barulhentas ou difíceis.
O que o CREPE estima a partir de um sinal de áudio?
O CREPE prevê a frequência fundamental, ou seja, o tom percebido, do áudio monofônico.
CREPE foi projetado principalmente para que tipo de áudio?
O CREPE estima a afinação de sinais monofônicos, como uma única voz ou instrumento solo.
Como o CREPE enquadra internamente a tarefa de estimativa de pitch?
O CREPE gera uma distribuição de probabilidade em 360 caixas de pitch, tratando a estimativa como classificação.
O que o CREPE considera como contribuição direta?
Ao contrário dos métodos baseados em espectrograma, o CREPE opera em quadros de formas de onda brutas através de camadas convolucionais.
Aproximadamente a que distância estão as caixas de arremesso do CREPE?
CREPE usa 360 compartimentos espaçados de 20 centavos entre si, proporcionando resolução de subsemitom em cerca de seis oitavas.