EnCodec Ses Sıkıştırma
EnCodec, Meta'nin konuşma ve müziği çok daha ağır formatlara rakip olacak kalitede çok düşük bit hızlarında sıkıştıran yüksek kaliteli sinirsel ses codec bileşenidir.
Genel Bakış
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Derin Dalış
Meta AI tarafından 2022'de piyasaya sürülen EnCodec, bir kodlayıcı, bir artık vektör niceleyici (RVQ) ve uçtan uca eğitilmiş bir kod çözücüden oluşan SoundStream planını takip ediyor, ancak birkaç iyileştirme ekliyor. Akış özellikli bir evrişimli kodlayıcı, çok ölçekli spektrogram ve zaman alanı yeniden yapılandırma kayıpları ve algısal kalite için rakip ayırıcılar kullanır. Dikkate değer bir katkı, nicelenmiş kodları kayıpsız bir şekilde daha da sıkıştıran, kalite kaybı olmadan ekstra bitleri sıkıştıran küçük bir Transformer tabanlı entropi modelidir. EnCodec ayrıca, rakip eğitim kayıplarını otomatik olarak ölçeklendirerek bunların sabit kalmasını sağlayan bir dengeleyici de sunuyor. 24 kHz monofonik ve 48 kHz stereo sesi yönetir, 1,5, 3, 6 ve 12 kbps gibi bit hızlarında çalışır ve 6 kbps'de 64 kbps'deki MP3 ile karşılaştırılabilir kaliteye ulaşır. Tokenları Meta'nin MusicGen ve AudioGen'ine güç veriyor.
Teknik Bilgi
EnCodec'in kodlayıcısı, adımlı evrişimlerle dalga biçimini gizli bir diziye altörnekler ve RVQ bunu yığılmış kod kitabı endekslerine dönüştürür. Hafif bir Transformer dil modeli, bu belirteçlerin olasılıklarını tahmin eder ve bunları aritmetik olarak kodlayarak daha fazla sıkıştırmayı ücretsiz olarak kurtarır. Eğitim dengeleyici, yeniden yapılanma, spektral ve rakip kayıplardan gelen gradyan katkılarını yeniden ölçeklendirir, böylece hiçbir tek terim baskın olmaz, bu da çok amaçlı eğitimi tüm bit hızı aralığında sabit tutar.
Stratejik Etki
Access and reach
Transkripsiyon, anlatım ve ses arayüzleri aracılığıyla erişilebilirliği artırır.
Maliyet ve bütçe
Medya ekipleri daha küçük bütçelerle daha iyi ses kalitesi sunabilir.
Speed and scale
Müşteriyle yüz yüze olan sistemler, sözlü etkileşimleri daha büyük ölçekte işleyebilir.
EnCodec Ses Sıkıştırmanın Geleceği
EnCodec halihazırda birçok açık üretken ses modeli için varsayılan belirteçtir ve onun soyundan gelenler, daha düşük bit hızlarında daha yüksek aslına uygunluk, tam stereo ve müzik düzeyinde yeniden yapılandırma ve metinden sese ve metinden müziğe oluşturucularla daha sıkı entegrasyon sağlıyor. Düşük bant genişliğine sahip iletişimde, gerçek zamanlı akışta ve büyük dil modeli tarzı mimarilerin ses okumasına ve yazmasına olanak tanıyan standart 'ses belirteci' katmanı olarak daha geniş çapta benimsenmesini bekleyebilirsiniz.
Gerçek Dünya Uygulaması
Meta'nin MusicGen ve AudioGen metinden sese oluşturucuları için sesi tokenleştirme
Bant genişliği sınırlı iletim için 24 kHz konuşmayı 1,5-6 kbps'ye sıkıştırma
Çok daha yüksek bit hızlarında MP3'e yakın kalitede 48 kHz stereo müziği kodlama
Yayınlanan kontrol noktaları aracılığıyla araştırma ve ses makine öğrenimi hatları için açık kaynaklı bir drop-in codec bileşeni olarak hizmet veriyor
Riskler ve Korkuluklar
Onay eksik olduğunda sesin kötüye kullanılması ve kimliğe bürünme riskleri artar.
Aksanlar, lehçeler veya gürültülü ortamlarda doğruluk düşebilir.
Sentetik ses, net bir etiketleme olmadan, orijinal konuşmayla karıştırılabilir.
Uygulama Yol Haritası
Sesin yakalanması, klonlanması ve yeniden kullanılması için açık izin alın.
Kaliteyi farklı hoparlörler ve arka plan koşullarında test edin.
Bir insanın çıktıları ne zaman incelemesi veya onaylaması gerektiğini tanımlayın.
Sentetik sesi etiketleyin ve sorumluluk için kaynak kayıtlarını saklayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EnCodec Audio Compression quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Ses Yerleştirmeleri ve Temsil Öğrenimi
Sık sorulan sorular
What is EnCodec Audio Compression?
EnCodec, Meta'nin konuşma ve müziği çok daha ağır formatlara rakip olacak kalitede çok düşük bit hızlarında sıkıştıran yüksek kaliteli sinirsel ses codec bileşenidir. Bu önemlidir çünkü modern üretken ses sistemlerini destekler ve herkesin kullanımına açık kaynak biçiminde gönderilir.
EnCodec'i hangi kuruluş yayınladı?
EnCodec, 2022'de Meta AI (FAIR) tarafından yüksek kaliteli bir sinirsel ses codec'i olarak tanıtıldı.
EnCodec, belirteçlerinden kayıpsız olarak daha fazla sıkıştırma elde etmek için hangi ekstra bileşeni ekliyor?
EnCodec, jeton olasılıklarını tahmin etmek ve bunları aritmetik olarak kodlamak için küçük bir Transformer'ı eğiterek RVQ'nun yanı sıra ek kayıpsız sıkıştırma elde eder.
Yaklaşık 6 kbps hızında EnCodec'in kalitesinin yaklaşık olarak hangi bit hızında MP3 ile karşılaştırılabilir olduğu rapor edildi?
6 kbps'deki EnCodec, 64 kbps'deki MP3'e benzer subjektif kaliteye ulaşır; bu büyük bir verimlilik kazancıdır.
EnCodec'in 'dengeleyicisi' eğitim sırasında hangi sorunu çözer?
Pek çok kayıpla (yeniden yapılanma, spektral, rakip), dengeleyici eğimlerini yeniden ölçeklendirir, böylece tek bir hedefin baskın olmaması ve eğitimi stabilize etmesi sağlanır.
EnCodec, SoundStream ile hangi temel niceleme yöntemini paylaşıyor?
SoundStream gibi EnCodec de kodlayıcı yerleştirmelerini yığılmış kod kitabı endekslerine ayırmak için artık vektör nicelemesini kullanır.