SıradakiSonraki rehber
Ses Yerleştirmeleri ve Temsil Öğrenimi
Ses Yapay Zekası
Ses AI KILAVUZU
EnCodec Ses Sıkıştırma
EnCodec, Meta'nin konuşma ve müziği çok daha ağır formatlara rakip olacak kalitede çok düşük bit hızlarında sıkıştıran yüksek kaliteli sinirsel ses codec bileşenidir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Derin Dalış
Meta AI tarafından 2022'de piyasaya sürülen EnCodec, bir kodlayıcı, bir artık vektör niceleyici (RVQ) ve uçtan uca eğitilmiş bir kod çözücüden oluşan SoundStream planını takip ediyor, ancak birkaç iyileştirme ekliyor. Akış özellikli bir evrişimli kodlayıcı, çok ölçekli spektrogram ve zaman alanı yeniden yapılandırma kayıpları ve algısal kalite için rakip ayırıcılar kullanır. Dikkate değer bir katkı, nicelenmiş kodları kayıpsız bir şekilde daha da sıkıştıran, kalite kaybı olmadan ekstra bitleri sıkıştıran küçük bir Transformer tabanlı entropi modelidir. EnCodec ayrıca, rakip eğitim kayıplarını otomatik olarak ölçeklendirerek bunların sabit kalmasını sağlayan bir dengeleyici de sunuyor. 24 kHz monofonik ve 48 kHz stereo sesi yönetir, 1,5, 3, 6 ve 12 kbps gibi bit hızlarında çalışır ve 6 kbps'de 64 kbps'deki MP3 ile karşılaştırılabilir kaliteye ulaşır. Tokenları Meta'nin MusicGen ve AudioGen'ine güç veriyor.
Gerçek Dünya Uygulaması
Meta'nin MusicGen ve AudioGen metinden sese oluşturucuları için sesi tokenleştirme
Bant genişliği sınırlı iletim için 24 kHz konuşmayı 1,5-6 kbps'ye sıkıştırma
Çok daha yüksek bit hızlarında MP3'e yakın kalitede 48 kHz stereo müziği kodlama
Yayınlanan kontrol noktaları aracılığıyla araştırma ve ses makine öğrenimi hatları için açık kaynaklı bir drop-in codec bileşeni olarak hizmet veriyor
EnCodec Ses Sıkıştırmanın Geleceği
EnCodec halihazırda birçok açık üretken ses modeli için varsayılan belirteçtir ve onun soyundan gelenler, daha düşük bit hızlarında daha yüksek aslına uygunluk, tam stereo ve müzik düzeyinde yeniden yapılandırma ve metinden sese ve metinden müziğe oluşturucularla daha sıkı entegrasyon sağlıyor. Düşük bant genişliğine sahip iletişimde, gerçek zamanlı akışta ve büyük dil modeli tarzı mimarilerin ses okumasına ve yazmasına olanak tanıyan standart 'ses belirteci' katmanı olarak daha geniş çapta benimsenmesini bekleyebilirsiniz.
Uygulamaya koymak
Neden önemli?
- Erişim ve erişim. Transkripsiyon, anlatım ve ses arayüzleri aracılığıyla erişilebilirliği artırır.
- Maliyet ve bütçe. Medya ekipleri daha küçük bütçelerle daha iyi ses kalitesi sunabilir.
- Hız ve ölçek. Müşteriyle yüz yüze olan sistemler, sözlü etkileşimleri daha büyük ölçekte işleyebilir.
Dikkat edin
- Onay eksik olduğunda sesin kötüye kullanılması ve kimliğe bürünme riskleri artar.
- Aksanlar, lehçeler veya gürültülü ortamlarda doğruluk düşebilir.
- Sentetik ses, net bir etiketleme olmadan, orijinal konuşmayla karıştırılabilir.
Sonraki adımlar
- Sesin yakalanması, klonlanması ve yeniden kullanılması için açık izin alın.
- Kaliteyi farklı hoparlörler ve arka plan koşullarında test edin.
- Bir insanın çıktıları ne zaman incelemesi veya onaylaması gerektiğini tanımlayın.
- Sentetik sesi etiketleyin ve sorumluluk için kaynak kayıtlarını saklayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the EnCodec Audio Compression quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is EnCodec Audio Compression?
EnCodec, Meta'nin konuşma ve müziği çok daha ağır formatlara rakip olacak kalitede çok düşük bit hızlarında sıkıştıran yüksek kaliteli sinirsel ses codec bileşenidir. Bu önemlidir çünkü modern üretken ses sistemlerini destekler ve herkesin kullanımına açık kaynak biçiminde gönderilir.
EnCodec'i hangi kuruluş yayınladı?
EnCodec, 2022'de Meta AI (FAIR) tarafından yüksek kaliteli bir sinirsel ses codec'i olarak tanıtıldı.
EnCodec, belirteçlerinden kayıpsız olarak daha fazla sıkıştırma elde etmek için hangi ekstra bileşeni ekliyor?
EnCodec, jeton olasılıklarını tahmin etmek ve bunları aritmetik olarak kodlamak için küçük bir Transformer'ı eğiterek RVQ'nun yanı sıra ek kayıpsız sıkıştırma elde eder.
Yaklaşık 6 kbps hızında EnCodec'in kalitesinin yaklaşık olarak hangi bit hızında MP3 ile karşılaştırılabilir olduğu rapor edildi?
6 kbps'deki EnCodec, 64 kbps'deki MP3'e benzer subjektif kaliteye ulaşır; bu büyük bir verimlilik kazancıdır.
EnCodec'in 'dengeleyicisi' eğitim sırasında hangi sorunu çözer?
Pek çok kayıpla (yeniden yapılanma, spektral, rakip), dengeleyici eğimlerini yeniden ölçeklendirir, böylece tek bir hedefin baskın olmaması ve eğitimi stabilize etmesi sağlanır.
EnCodec, SoundStream ile hangi temel niceleme yöntemini paylaşıyor?
SoundStream gibi EnCodec de kodlayıcı yerleştirmelerini yığılmış kod kitabı endekslerine ayırmak için artık vektör nicelemesini kullanır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi