Demucs وHT-Demucs فصل مصدر الموسيقى
Demucs هو نموذج فصل مصدر الموسيقى مفتوح المصدر لـ Meta؛ يقوم Hybrid Transformer Demucs (HT-Demucs) بتقسيم الأغاني إلى أصوات، وطبل، وباس، وغيرها من السيقان باستخدام معالجة الشكل الموجي والمخطط الطيفي.
الغوص العميق
يعالج Demucs (Deep Extractor for Music Sources) مشكلة "إلغاء المزج" الكلاسيكية: استعادة مسارات الآلات الفردية من تسجيل استريو نهائي. استخدمت الإصدارات المبكرة شبكة U-Net ذات النطاق الموجي التي تعمل مباشرة على عينات الصوت الخام، والتي حافظت على معلومات الطور التي غالبًا ما تفقدها طرق المخطط الطيفي. تقوم Hybrid Demucs المستخدمة على نطاق واسع ولاحقًا Hybrid Transformer Demucs (HT-Demucs) بمعالجة الصوت في كل من نطاقات الشكل الموجي والطيف في وقت واحد، ثم تدمجهما، وتضيف اهتمام المحولات عبر المجال إلى بنية النموذج بعيدة المدى. تم تدريب Demucs على مجموعة بيانات MUSDB18 بالإضافة إلى بيانات إضافية، وهو يفصل المزيج إلى أربعة أقسام (غناء، وطبول، وباس، وغيرها) وأصبح أداة افتراضية لأنه مفتوح المصدر، ويعمل على وحدات معالجة الرسومات الاستهلاكية، ويسجل باستمرار درجات قريبة من القمة في معايير الفصل.
البصيرة الفنية
يدير Hybrid Demucs فرعين متوازيين للتشفير وفك التشفير: أحدهما على شكل موجة المجال الزمني والآخر على المخطط الطيفي STFT. يتم تبادل الميزات بين الفروع ودمجها، لذلك يستغل النموذج الطور الدقيق لشكل الموجة وبنية التردد الواضحة للمخطط الطيفي. يتم قياس الجودة باستخدام نسبة الإشارة إلى التشويه (SDR) بالديسيبل في الأغاني المعلقة. يضيف متغير المحول الانتباه الذاتي والتقاطعي لالتقاط السياق الموسيقي عبر ثوانٍ.
التأثير الاستراتيجي
الوصول والوصول
يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
التكلفة والميزانية
يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
السرعة والحجم
يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
مستقبل فصل مصدر الموسيقى Demucs وHT-Demucs
يتجه فصل المصدر نحو المزيد من السيقان (فصل القيثارات الفردية أو البيانو أو حتى مطربين محددين)، والتشغيل في الوقت الفعلي وعلى الجهاز، والفصل الفوري عن طريق النص ("عزل الساكسفون"). ستعمل النماذج الأفضل على تقليل الشوائب المائية التي لا تزال تظهر على الخلطات الكثيفة. مع ارتفاع الجودة، توقع تكاملًا أعمق في منصات العمل الصوتية، وتطبيقات الكاريوكي والريمكس، وأدوات تعليم الموسيقى، إلى جانب الجدل المستمر حول حقوق الطبع والنشر وآثار الموافقة على الاستخراج النظيف للصوت المعزول لأي فنان.
التنفيذ في العالم الحقيقي
يقوم المنتجون والريمكسات باستخراج الأكابيلا أو المعزوفات الموسيقية النظيفة من المسارات التي تم إصدارها
تعمل تطبيقات الكاريوكي على إزالة الأصوات الرئيسية أثناء التنقل لإنشاء مسارات مساندة
يقوم الموسيقيون بعزل خط الجهير أو أخدود الطبل للنسخ أو التدرب معه
سير عمل استعادة الصوت وأخذ العينات الذي يحتاج إلى إخراج أداة واحدة من المزيج القديم
المخاطر والدرابزين
تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
خارطة طريق التنفيذ
الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Demucs and HT-Demucs Music Source Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
فتح وفصل الموسيقى
الأسئلة المتداولة
What is Demucs and HT-Demucs Music Source Separation?
Demucs هو نموذج فصل مصدر الموسيقى مفتوح المصدر لـ Meta؛ يقوم Hybrid Transformer Demucs (HT-Demucs) بتقسيم الأغاني إلى أصوات، وطبل، وباس، وغيرها من السيقان باستخدام معالجة الشكل الموجي والمخطط الطيفي.
ماذا يفعل Demucs للأغنية النهائية؟
يقوم Demucs بفصل مصدر الموسيقى، وتقسيم مزيج الاستريو إلى أداة فردية وسيقان صوتية.
ما الذي يجعل الديمقراطيين الهجين "هجينين"؟
يجمع Hybrid Demucs بين فرع الشكل الموجي للمجال الزمني وفرع الطيف، مما يؤدي إلى دمج نقاط قوتهما.
ما هو المقياس الشائع استخدامه لتقييم جودة الفصل؟
تحدد حقوق السحب الخاصة، التي يتم قياسها بالديسيبل، مدى دقة تطابق الجذع المقدر مع المصدر الحقيقي.
ما هي المنظمة التي أطلقت سراح الديموقراطيين في الأصل؟
تم تطوير Demucs وفتحه بواسطة باحثين في Meta AI / FAIR.
لماذا عملت Demucs المبكرة مباشرة على الشكل الموجي الخام؟
إن العمل في مجال الشكل الموجي يحافظ على الطور، والذي غالبًا ما تتجاهله طرق قياس الطيف ويجب تقديره.