Demucs ve HT-Demucs Müzik Kaynağı Ayırma
Demucs, Meta'nin açık kaynaklı müzik kaynağı ayırma modelidir; Hibrit Transformer Demucs (HT-Demucs), dalga biçimi ve spektrogram işlemeyi kullanarak şarkıları vokal, davul, bas ve diğer gövdelere ayırır.
Derin Dalış
Demucs (Müzik Kaynakları için Deep Extractor), klasik "mikslemeyi kaldırma" sorununu çözer: son bir stereo kayıttan ayrı ayrı enstrüman parçalarını kurtarmak. İlk sürümler, doğrudan ham ses örnekleri üzerinde çalışan ve spektrogram yöntemlerinin sıklıkla kaybettiği faz bilgilerini koruyan bir dalga biçimi etki alanı U-Net'i kullanıyordu. Yaygın olarak kullanılan Hibrit Demuc'lar ve daha sonra Hibrit Transformatör Demuc'lar (HT-Demuc'lar), sesi hem dalga biçimi hem de spektrogram alanlarında aynı anda işler, ardından bunları birleştirir ve uzun menzilli yapıya model oluşturmak için alanlar arası transformatör dikkatini ekler. MUSDB18 veri seti ve ekstra veriler üzerinde eğitim alan Demucs, bir miksajı dört gövdeye (vokal, davul, bas, diğer) ayırır ve açık kaynak olması, tüketici GPU'ları üzerinde çalışması ve ayırma kıyaslamalarında sürekli olarak en üst sıralara yakın puan alması nedeniyle varsayılan bir araç haline gelmiştir.
Teknik Bilgi
Hybrid Demucs iki paralel kodlayıcı-kod çözücü dalını çalıştırır: biri zaman alanı dalga formunda ve diğeri STFT spektrogramında. Özellikler dallar arasında değiş tokuş edilir ve birleştirilir; böylece model, dalga formunun kesin fazından ve spektrogramın net frekans yapısından yararlanır. Kalite, uzatılan şarkılarda desibel cinsinden Sinyal Bozulma Oranı (SDR) ile ölçülür. Transformatör çeşidi, müzikal bağlamı saniyeler içinde yakalamak için kişisel ve çapraz dikkati ekler.
Stratejik Etki
Access and reach
Transkripsiyon, anlatım ve ses arayüzleri aracılığıyla erişilebilirliği artırır.
Maliyet ve bütçe
Medya ekipleri daha küçük bütçelerle daha iyi ses kalitesi sunabilir.
Speed and scale
Müşteriyle yüz yüze olan sistemler, sözlü etkileşimleri daha büyük ölçekte işleyebilir.
Demucs ve HT-Demucs Müzik Kaynağı Ayrımının Geleceği
Kaynak ayırma, daha fazla gövdeye (bireysel gitarları, piyanoları ve hatta belirli şarkıcıları ayırmak), gerçek zamanlı ve cihaz üzerinde çalışmaya ve metinle yönlendirilebilen ayırmaya ("saksafonu izole etme") doğru ilerliyor. Daha iyi modeller, yoğun karışımlarda hala ortaya çıkan sulu kalıntıları azaltacaktır. Kalite arttıkça, DAW'lara, karaoke ve remiks uygulamalarına ve müzik eğitimi araçlarına daha derin entegrasyon sağlanmasının yanı sıra, herhangi bir sanatçının yalıtılmış vokalinin temiz bir şekilde çıkarılmasının telif hakkı ve izin sonuçları hakkında devam eden tartışmalar da beklenebilir.
Gerçek Dünya Uygulaması
Yayınlanan parçalardan temiz akapellalar veya enstrümantaller çıkaran yapımcılar ve remiksçiler
Arka parçalar oluşturmak için ana vokalleri anında kaldıran karaoke uygulamaları
Birlikte yazmak veya pratik yapmak için bir bas hattını veya davul ritmini izole eden müzisyenler
Bir enstrümanı eski bir miksajdan çıkarması gereken ses restorasyonu ve örnekleme iş akışları
Riskler ve Korkuluklar
Onay eksik olduğunda sesin kötüye kullanılması ve kimliğe bürünme riskleri artar.
Aksanlar, lehçeler veya gürültülü ortamlarda doğruluk düşebilir.
Sentetik ses, net bir etiketleme olmadan, orijinal konuşmayla karıştırılabilir.
Uygulama Yol Haritası
Sesin yakalanması, klonlanması ve yeniden kullanılması için açık izin alın.
Kaliteyi farklı hoparlörler ve arka plan koşullarında test edin.
Bir insanın çıktıları ne zaman incelemesi veya onaylaması gerektiğini tanımlayın.
Sentetik sesi etiketleyin ve sorumluluk için kaynak kayıtlarını saklayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Demucs and HT-Demucs Music Source Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Açık-Unmix Müzik Ayrımı
Sık sorulan sorular
What is Demucs and HT-Demucs Music Source Separation?
Demucs, Meta'nin açık kaynaklı müzik kaynağı ayırma modelidir; Hibrit Transformer Demucs (HT-Demucs), dalga biçimi ve spektrogram işlemeyi kullanarak şarkıları vokal, davul, bas ve diğer gövdelere ayırır.
Demucs bitmiş bir şarkıya ne yapar?
Demucs, stereo karışımı ayrı enstrüman ve vokal gövdelerine bölerek müzik kaynağı ayırma işlemini gerçekleştirir.
Hibrit Demucs'u 'hibrit' yapan nedir?
Hibrit Demucs, zaman alanı dalga biçimi dalını ve spektrogram dalını birleştirerek bunların güçlü yönlerini birleştirir.
Ayırma kalitesini değerlendirmek için yaygın olarak hangi metrik kullanılır?
Desibel cinsinden ölçülen SDR, tahmin edilen gövdenin gerçek kaynakla ne kadar net eşleştiğini ölçer.
Demucs'u ilk olarak hangi kuruluş piyasaya sürdü?
Demucs, Meta AI / FAIR'deki araştırmacılar tarafından geliştirilmiş ve açık kaynaklıdır.
İlk Demuc'lar neden doğrudan ham dalga formu üzerinde çalışıyordu?
Dalga biçimi alanında çalışmak, spektrogram-büyüklük yöntemlerinin sıklıkla göz ardı ettiği ve tahmin etmesi gereken fazı korur.