A seguirPróximo guia
Incorporações de áudio e aprendizagem de representação
IA de áudio
GUIA de IA de áudio
Compressão de áudio EnCodec
EnCodec é o codec de áudio neural de alta fidelidade do Meta que compacta fala e música em taxas de bits muito baixas com qualidade que rivaliza com formatos muito mais pesados.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
É importante porque sustenta sistemas de áudio generativos modernos e é fornecido em formato de código aberto para qualquer pessoa usar.
Mergulho profundo
Lançado pela Meta AI em 2022, o EnCodec segue o modelo SoundStream de um codificador, um quantizador de vetor residual (RVQ) e um decodificador treinado de ponta a ponta, mas adiciona vários refinamentos. Ele usa um codificador convolucional com capacidade de streaming, espectrograma multiescala e perdas de reconstrução no domínio do tempo e discriminadores adversários para qualidade perceptual. Uma contribuição notável é um pequeno modelo de entropia baseado em Transformer que comprime ainda mais os códigos quantizados sem perdas, extraindo bits extras sem perda de qualidade. O EnCodec também introduz um balanceador que dimensiona automaticamente as muitas perdas de treinamento concorrentes para que permaneçam estáveis. Ele suporta áudio monofônico de 24 kHz e estéreo de 48 kHz, opera em taxas de bits como 1,5, 3, 6 e 12 kbps e, a 6 kbps, atinge qualidade comparável ao MP3 a 64 kbps. Seus tokens alimentam o MusicGen e o AudioGen de Meta.
Implementação no mundo real
Tokenização de áudio para geradores de texto para áudio MusicGen e AudioGen de Meta
Compressão de voz de 24 kHz para 1,5-6 kbps para transmissão com largura de banda limitada
Codificando música estéreo de 48 kHz com qualidade próxima ao MP3 e taxas de bits muito mais altas
Servindo como um codec de código aberto para pipelines de pesquisa e ML de áudio por meio dos pontos de verificação lançados
O futuro da compressão de áudio EnCodec
O EnCodec já é o tokenizador padrão para vários modelos de áudio generativos abertos, e seus descendentes estão promovendo maior fidelidade em taxas de bits mais baixas, reconstrução completa de estéreo e de qualidade musical e maior integração com geradores de texto para áudio e texto para música. Espere uma adoção mais ampla em comunicação de baixa largura de banda, streaming em tempo real e como a camada padrão de 'token de áudio' que permite que grandes arquiteturas de estilo de modelo de linguagem leiam e gravem som.
Colocando em prática
Por que isso importa
- Acesso e alcance. Melhora a acessibilidade por meio de transcrição, narração e interfaces de voz.
- Custo e orçamento. As equipes de mídia podem enviar áudio sofisticado com mais rapidez e com orçamentos menores.
- Velocidade e escala. Os sistemas voltados para o cliente podem processar interações faladas em maior escala.
Cuidado com
- Os riscos de uso indevido de voz e falsificação de identidade aumentam quando falta consentimento.
- A precisão pode diminuir em sotaques, dialetos ou ambientes barulhentos.
- O áudio sintético pode ser confundido com fala autêntica sem uma rotulagem clara.
Próximas etapas
- Obtenha consentimento explícito para captura, clonagem e reutilização de voz.
- Teste a qualidade em diversos alto-falantes e condições de fundo.
- Defina quando um ser humano deve revisar ou aprovar os resultados.
- Rotule o áudio sintético e mantenha registros de procedência para fins de prestação de contas.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the EnCodec Audio Compression quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
O que é compressão de áudio EnCodec?
EnCodec é o codec de áudio neural de alta fidelidade do Meta que compacta fala e música em taxas de bits muito baixas com qualidade que rivaliza com formatos muito mais pesados. É importante porque sustenta sistemas de áudio generativos modernos e é fornecido em formato de código aberto para qualquer pessoa usar.
Qual organização lançou o EnCodec?
EnCodec foi introduzido por Meta AI (FAIR) em 2022 como um codec de áudio neural de alta fidelidade.
Que componente extra o EnCodec adiciona para extrair mais compactação de seus tokens sem perdas?
O EnCodec treina um pequeno Transformer para prever as probabilidades do token e codificá-las aritméticamente, obtendo compactação adicional sem perdas sobre o RVQ.
Com aproximadamente 6 kbps, a qualidade do EnCodec foi relatada como comparável à do MP3, com aproximadamente qual taxa de bits?
O EnCodec a 6 kbps atinge qualidade subjetiva semelhante ao MP3 a 64 kbps, um grande ganho de eficiência.
Que problema o 'balanceador' do EnCodec resolve durante o treinamento?
Com muitas perdas (reconstrução, espectral, adversária), o balanceador redimensiona seus gradientes para que nenhum objetivo único domine, estabilizando o treinamento.
Qual método de quantização principal o EnCodec compartilha com o SoundStream?
Assim como o SoundStream, o EnCodec usa quantização vetorial residual para discretizar incorporações de codificadores em índices de livro de códigos empilhados.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico