การแยกแหล่งเพลง Demucs และ HT-Demucs
Demucs คือโมเดลการแยกแหล่งเพลงโอเพ่นซอร์สของ Meta Hybrid Transformer Demucs (HT-Demucs) แบ่งเพลงออกเป็นเสียงร้อง กลอง เบส และก้านอื่นๆ โดยใช้รูปคลื่นและการประมวลผลสเปกโตรแกรม
เจาะลึก
Demucs (Deep Extractor สำหรับแหล่งเพลง) จัดการกับปัญหา "การยกเลิกมิกซ์" แบบคลาสสิก: การกู้คืนแทร็กเครื่องดนตรีแต่ละเพลงจากการบันทึกเสียงสเตอริโอขั้นสุดท้าย เวอร์ชันแรกๆ ใช้โดเมนรูปคลื่น U-Net ซึ่งทำงานโดยตรงกับตัวอย่างเสียงดิบ ซึ่งรักษาข้อมูลเฟสที่วิธีสเปกโตรแกรมมักจะสูญเสียไป Hybrid Demucs ที่ใช้กันอย่างแพร่หลายและ Hybrid Transformer Demucs (HT-Demucs) รุ่นต่อมาจะประมวลผลเสียงทั้งในรูปแบบคลื่นและโดเมนสเปกโตรแกรมพร้อมกัน จากนั้นจึงหลอมรวมเข้าด้วยกัน และเพิ่มความสนใจของหม้อแปลงข้ามโดเมนให้กับโมเดลโครงสร้างระยะไกล เมื่อฝึกฝนบนชุดข้อมูล MUSDB18 พร้อมข้อมูลเพิ่มเติม Demucs แยกมิกซ์ออกเป็นสี่สาย (เสียงร้อง กลอง เบส และอื่นๆ) และกลายเป็นเครื่องมือเริ่มต้นเนื่องจากเป็นโอเพ่นซอร์ส ทำงานบน GPU สำหรับผู้บริโภค และให้คะแนนใกล้จุดสูงสุดอย่างต่อเนื่องในการวัดประสิทธิภาพการแยก
ข้อมูลเชิงลึกทางเทคนิค
Hybrid Demucs ใช้งานตัวเข้ารหัส-ตัวถอดรหัสแบบขนานสองสาขา: หนึ่งสาขาบนรูปคลื่นของโดเมนเวลา และอีกสาขาหนึ่งบนสเปกโตรแกรม STFT คุณลักษณะต่างๆ มีการแลกเปลี่ยนกันระหว่างสาขาและรวมกัน ดังนั้นแบบจำลองจึงใช้ประโยชน์จากเฟสที่แม่นยำของรูปคลื่นและโครงสร้างความถี่ที่ชัดเจนของสเปกโตรแกรม วัดคุณภาพด้วยอัตราส่วนสัญญาณต่อการบิดเบือน (SDR) ในหน่วยเดซิเบลของเพลงที่เปิดค้างไว้ หม้อแปลงไฟฟ้ารุ่นเพิ่มความสนใจในตัวเองและข้ามสายเพื่อบันทึกบริบททางดนตรีในช่วงเวลาไม่กี่วินาที
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของการแยกแหล่งเพลงของ Demucs และ HT-Demucs
การแยกแหล่งที่มากำลังเคลื่อนไปสู่ขั้นตอนที่มากขึ้น (การแยกกีตาร์ เปียโน หรือแม้แต่นักร้องเฉพาะราย) การทำงานแบบเรียลไทม์และบนอุปกรณ์ และการแยกข้อความพร้อมท์ ("แยกแซ็กโซโฟน") โมเดลที่ดีกว่าจะลดสิ่งแปลกปลอมที่เป็นน้ำซึ่งยังคงปรากฏบนส่วนผสมที่มีความหนาแน่นสูง เมื่อคุณภาพเพิ่มขึ้น คาดว่าจะมีการบูรณาการที่ลึกซึ้งยิ่งขึ้นใน DAW แอปคาราโอเกะและรีมิกซ์ และเครื่องมือการศึกษาด้านดนตรี ควบคู่ไปกับการถกเถียงอย่างต่อเนื่องเกี่ยวกับลิขสิทธิ์และความยินยอมที่เกี่ยวข้องกับการแยกเสียงร้องที่แยกออกจากกันของศิลปินอย่างหมดจด
การใช้งานจริงในโลกแห่งความเป็นจริง
โปรดิวเซอร์และรีมิกซ์จะแยกอะคาเปลลาหรือเครื่องดนตรีที่สะอาดออกจากเพลงที่ปล่อยออกมา
แอพคาราโอเกะลบเสียงร้องนำทันทีเพื่อสร้างเพลงสำรอง
นักดนตรีแยกเสียงเบสหรือกรู๊ฟกลองเพื่อถอดเสียงหรือฝึกซ้อมไปด้วย
ขั้นตอนการกู้คืนเสียงและการสุ่มตัวอย่างที่ต้องยกเครื่องดนตรีหนึ่งชิ้นออกจากมิกซ์เก่า
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Demucs and HT-Demucs Music Source Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การแยกเพลงแบบเปิด-Unmix
คำถามที่พบบ่อย
การแยกแหล่งที่มาดนตรีระหว่าง Demucs และ HT-Demucs คืออะไร?
Demucs คือโมเดลการแยกแหล่งเพลงโอเพ่นซอร์สของ Meta Hybrid Transformer Demucs (HT-Demucs) แบ่งเพลงออกเป็นเสียงร้อง กลอง เบส และก้านอื่นๆ โดยใช้รูปคลื่นและการประมวลผลสเปกโตรแกรม
Demucs ทำอะไรกับเพลงที่เสร็จแล้ว?
Demucs ทำการแยกแหล่งเพลง โดยแยกมิกซ์สเตอริโอออกเป็นเครื่องดนตรีเดี่ยวและก้านเสียง
อะไรทำให้ Hybrid Demucs เป็น 'ไฮบริด'
Hybrid Demucs ผสมผสานสาขารูปแบบโดเมนเวลาและสาขาสเปกโตรแกรมเข้าด้วยกัน เพื่อหลอมรวมจุดแข็งเข้าด้วยกัน
โดยทั่วไปจะใช้หน่วยเมตริกใดในการประเมินคุณภาพการแยกสาร
SDR ซึ่งวัดเป็นเดซิเบล จะวัดปริมาณว่าก้านโดยประมาณตรงกับแหล่งที่มาที่แท้จริงเพียงใด
องค์กรใดที่เปิดตัว Demucs ในตอนแรก
Demucs ได้รับการพัฒนาและโอเพ่นซอร์สโดยนักวิจัยที่ Meta AI / FAIR
เหตุใด Demucs ยุคแรกจึงทำงานโดยตรงกับรูปคลื่นดิบ
การทำงานในโดเมนรูปคลื่นจะคงเฟสไว้ ซึ่งวิธีสเปกโตรแกรม-แมกนิจูดมักจะละทิ้งและต้องประมาณค่าไว้