การแยกเพลงแบบเปิด-Unmix
Open-Unmix (UMX) คือระบบการเรียนรู้เชิงลึกแบบโอเพ่นซอร์สที่แบ่งเพลงออกเป็นส่วนต่างๆ เช่น เสียงร้อง กลอง เบส และเครื่องดนตรีอื่นๆ
ภาพรวม
It matters as a reproducible, reference-quality baseline that made music source separation accessible to researchers, musicians, and hobbyists.
เจาะลึก
เปิดตัวในปี 2019 โดย Stoter, Uhlich, Liutkus และ Mitsufuji Open-Unmix ถูกสร้างขึ้นโดยเจตนาให้เป็นพื้นฐานที่โปร่งใสและมีเอกสารประกอบอย่างดีใน PyTorch (พร้อมพอร์ต TensorFlow และ NNabla) โดยจะฝึกแบบจำลองหนึ่งแบบต่อก้านเป้าหมายบนแมกนิจูดสเปกโตรแกรมของส่วนผสม แกนกลางเป็น LSTM แบบสองทิศทางสามชั้นที่ห่อหุ้มด้วยเลเยอร์ที่เชื่อมต่อกันอย่างสมบูรณ์ ซึ่งคาดการณ์มาสก์สเปกตรัมสำหรับแหล่งที่มาของเป้าหมาย เนื่องจากทำงานตามขนาด จึงนำเฟสของส่วนผสมกลับมาใช้ใหม่และสร้างก้านขึ้นใหม่โดยใช้ STFT แบบผกผัน สามารถเลือกปรับแต่งด้วยตัวกรอง Wiener แบบหลายช่องสัญญาณได้ ผ่านการฝึกฝนบนชุดข้อมูล MUSDB18 แบบเปิด มันไม่ได้ไล่ตามคะแนนลีดเดอร์บอร์ดสูงสุด เป้าหมายคือความชัดเจนและความสามารถในการทำซ้ำ ทำให้ชุมชนมีจุดเปรียบเทียบที่น่าเชื่อถือและเป็นรากฐานในการต่อยอด
ข้อมูลเชิงลึกทางเทคนิค
แต่ละก้านมีเครือข่ายของตัวเองที่ทำงานบนสเปกโตรแกรมขนาดอินพุต ช่องความถี่ได้รับการกำหนดมาตรฐานและลดขนาดด้วยชั้นที่หนาแน่น LSTM แบบสองทิศทางจะจับบริบทชั่วคราวในทั้งสองทิศทาง และชั้นที่หนาแน่นเพิ่มเติมจะขยายกลับไปเป็นความละเอียดความถี่เต็มเพื่อสร้างมาส์กแบบนุ่ม การคูณมาสก์ด้วยขนาดของส่วนผสมจะทำให้ได้แหล่งที่มาโดยประมาณ เฟสเดิมถูกนำมาใช้ซ้ำ และตัวกรอง Wiener สามารถร่วมกันปรับแต่งก้านทั้งหมดเพื่อผลลัพธ์ที่สะอาดยิ่งขึ้น
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของการแยกเพลงแบบ Open-Unmix
Open-Unmix แซงหน้าในด้านคุณภาพดิบโดยแบบจำลองรูปคลื่น เช่น Demucs และระบบรูปคลื่นแบบสเปกโตรแกรมแบบไฮบริด แต่บทบาทของมันเป็นข้อมูลอ้างอิงที่ชัดเจนและสามารถแฮ็กได้ ทำให้มีความเกี่ยวข้องสำหรับการสอนและการสร้างต้นแบบอย่างรวดเร็ว คาดว่าจะมีการใช้งานอย่างต่อเนื่องในด้านการศึกษาและเป็นพื้นฐานการตรวจสอบสติ ในขณะที่สาขาที่กว้างขึ้นจะเคลื่อนไปสู่ตัวแยกที่ใช้หม้อแปลงและไฮบริดที่มีความเที่ยงตรงสูงกว่า และไปสู่การแยกหมวดหมู่เครื่องมือที่มีความละเอียดมากขึ้น
การใช้งานจริงในโลกแห่งความเป็นจริง
แยกแทร็กเสียงที่แยกออกมาเพื่อสร้างเพลงคาราโอเกะหรือเพลงบรรเลง
ดึงก้านกลองหรือเบสออกมาเพื่อรีมิกซ์และสุ่มตัวอย่างโดยผู้ผลิต
ทำหน้าที่เป็นพื้นฐานการวิจัยที่สามารถทำซ้ำได้สำหรับการประเมินแบบจำลองการแยกใหม่บน MUSDB18
ให้นักเรียนดนตรีแยกเครื่องดนตรีหนึ่งชิ้นเพื่อศึกษาส่วนของเครื่องดนตรีนั้นในการมิกซ์
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Open-Unmix Music Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การแยกทางดนตรี
คำถามที่พบบ่อย
What is Open-Unmix Music Separation?
Open-Unmix (UMX) คือระบบการเรียนรู้เชิงลึกแบบโอเพ่นซอร์สที่แบ่งเพลงออกเป็นส่วนต่างๆ เช่น เสียงร้อง กลอง เบส และเครื่องดนตรีอื่นๆ สิ่งสำคัญคือเป็นพื้นฐานคุณภาพอ้างอิงที่สามารถทำซ้ำได้ ซึ่งทำให้นักวิจัย นักดนตรี และมือสมัครเล่นสามารถเข้าถึงการแยกแหล่งที่มาของเพลงได้
Open-Unmix ทำหน้าที่อะไร?
Open-Unmix คือระบบแยกแหล่งเพลงที่แยกส่วนผสมออกเป็นเครื่องดนตรีและก้านเสียง
โครงข่ายประสาทเทียมใดที่เป็นแกนหลักของ Open-Unmix
Open-Unmix ทำนายสเปกตรัมมาสก์โดยใช้ LSTM แบบสองทิศทางที่ห่อด้วยเลเยอร์ที่เชื่อมต่อกันอย่างสมบูรณ์
Open-Unmix ทำงานบนตัวแทนใด
โดยทำงานบนสเปกโตรแกรมขนาด ทำนายมาสก์ และนำเฟสของส่วนผสมกลับมาใช้ใหม่เพื่อสร้างใหม่
ชุดข้อมูลใดที่ได้รับการฝึกอบรม Open-Unmix
Open-Unmix ใช้ชุดข้อมูลการแยกเพลง MUSDB18 แบบเปิดสำหรับการฝึกอบรมและการประเมินผล
เป้าหมายการออกแบบหลักของ Open-Unmix คืออะไร
มันถูกสร้างขึ้นเพื่อเป็นพื้นฐานที่ชัดเจน มีการจัดทำเอกสารอย่างดี และทำซ้ำได้ แทนที่จะเป็นกล่องดำที่ได้คะแนนสูงสุด