การดึงข้อมูลเพลง
Music Information Recovery (MIR) เป็นสาขาที่สอนคอมพิวเตอร์ให้วิเคราะห์ ทำความเข้าใจ และค้นหาเพลงจากสัญญาณเสียงและโน้ตเพลง
ภาพรวม
It powers everything from Shazam-style song identification to Spotify's recommendations and automatic music tagging.
เจาะลึก
การเรียกข้อมูลเพลงอยู่ที่จุดบรรจบของการประมวลผลสัญญาณ การเรียนรู้ของเครื่อง และดนตรีวิทยา นักวิจัยแยกคุณสมบัติต่างๆ จากเสียง เช่น สเปกโตรแกรม ค่าสัมประสิทธิ์เซปสตรัลความถี่เมล (MFCC) เวกเตอร์โครมา และจังหวะเพื่อจับระดับเสียงสูงต่ำ จังหวะ และเสียงประสาน จากสิ่งเหล่านี้ ระบบ MIR จะทำงานต่างๆ เช่น การติดตามจังหวะ การตรวจจับคีย์ การจัดประเภท การแยกทำนอง การระบุเพลงที่นำมาร้อง และการแนะนำเพลง การประชุม ISMIR ประจำปีและแคมเปญประเมินผล MIREX ได้ขับเคลื่อนความก้าวหน้ามาตั้งแต่ปี 2543 MIR สมัยใหม่ใช้การเรียนรู้เชิงลึก การฝึกอบรมเครือข่าย Convolutional และ Transformer โดยตรงบนสเปกโตรแกรมมากขึ้น และการฝังเสียงที่ดูแลด้วยตนเอง แทนที่คุณสมบัติที่ประดิษฐ์ขึ้นด้วยมือจำนวนมาก ในขณะที่ยังคงใช้แนวคิดทฤษฎีดนตรีในการติดป้ายกำกับและตีความผลลัพธ์
ข้อมูลเชิงลึกทางเทคนิค
ไปป์ไลน์ MIR ส่วนใหญ่เริ่มต้นด้วยการแปลงเสียงให้เป็นตัวแทนความถี่ตามเวลาโดยใช้การแปลงฟูเรียร์เวลาสั้น ซึ่งมักจะบิดเบี้ยวเป็นระดับเมลหรือความถี่บันทึกที่สะท้อนการได้ยินของมนุษย์ คุณสมบัติ Chroma จะพับอ็อกเทฟทั้งหมดเป็น 12 คลาสพิทช์สำหรับงานประสานเสียง ในขณะที่ MFCC บีบอัดเสียงต่ำ จากนั้นโครงข่ายประสาทเทียมหรือตัวแยกประเภทจะแมปการนำเสนอเหล่านี้กับป้ายกำกับ เช่น จังหวะ คีย์ หรือประเภท การประเมินใช้ตัวชี้วัดเฉพาะงาน เช่น การวัด F สำหรับการติดตามจังหวะ
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของการสืบค้นข้อมูลดนตรี
MIR กำลังเปลี่ยนไปสู่โมเดลเสียงขนาดใหญ่ที่มีการดูแลตนเอง ซึ่งเรียนรู้การนำเสนอดนตรีทั่วไปจากเพลงที่ไม่มีป้ายกำกับนับล้าน จากนั้นจึงปรับแต่งสำหรับงานเฉพาะเจาะจงโดยใช้ข้อมูลที่มีป้ายกำกับเพียงเล็กน้อย คาดหวังการผสานรวมที่แน่นแฟ้นยิ่งขึ้นกับโมเดลดนตรีที่สร้างสรรค์ การค้นหาเพลงด้วยภาษาที่เป็นธรรมชาติ ("ค้นหาเพลงแจ๊สที่มีจังหวะสนุกสนานด้วยพู่กัน") และการจัดการประเพณีที่ไม่ใช่แบบตะวันตกที่ดีขึ้นซึ่งโครเมียมมาตรฐานและโมเดลหลักละเลย ระบบต่อเนื่องหลายรูปแบบที่รวมเสียง เนื้อเพลง โน้ตเพลง และข้อมูลเมตาจะทำให้คำแนะนำและการค้นพบมีความเหมาะสมและเป็นส่วนตัวมากขึ้น
การใช้งานจริงในโลกแห่งความเป็นจริง
Shazam และแอพที่คล้ายกันระบุเพลงจากการบันทึกโทรศัพท์ที่มีเสียงดังโดยใช้ลายนิ้วมือเสียง
Spotify และ Apple Music สร้างคำแนะนำและเพลย์ลิสต์อัตโนมัติจากการเรียนรู้ความคล้ายคลึงกันของเสียง
การแท็กอารมณ์ ประเภท และเครื่องดนตรีอัตโนมัติสำหรับไลบรารีการผลิต เพลง และสต็อกเสียงขนาดใหญ่
การตรวจจับเวอร์ชันคัฟเวอร์และลิขสิทธิ์ที่ตรงกันบนแพลตฟอร์ม เช่น YouTube Content ID
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Music Information Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การติดแท็กอัตโนมัติของเพลง
คำถามที่พบบ่อย
What is Music Information Retrieval?
Music Information Recovery (MIR) เป็นสาขาที่สอนคอมพิวเตอร์ให้วิเคราะห์ ทำความเข้าใจ และค้นหาเพลงจากสัญญาณเสียงและโน้ตเพลง มันขับเคลื่อนทุกสิ่งตั้งแต่การระบุเพลงสไตล์ Shazam ไปจนถึงคำแนะนำของ Spotify และการแท็กเพลงอัตโนมัติ
คุณสมบัติโครมาที่ใช้ในการจับภาพใน MIR เป็นหลักคืออะไร
Chroma นำเสนอพลังงานพับจากอ็อกเทฟทั้งหมดเป็นคลาสพิทช์ 12 คลาส ทำให้เหมาะสำหรับฮาร์โมนี คอร์ด และการวิเคราะห์คีย์
การแปลงรูปแบบใดมักเป็นขั้นตอนแรกในการเปลี่ยนเสียงให้เป็นการแสดงความถี่ของเวลา
การแปลงฟูริเยร์ช่วงเวลาสั้นจะสร้างสเปกโตรแกรมซึ่งเป็นรากฐานสำหรับคุณสมบัติและแบบจำลอง MIR ส่วนใหญ่
แอพอย่าง Shazam อาศัยอะไรในการระบุเพลง
ลายพิมพ์ลายนิ้วมือจะสร้างแฮชเสียงที่มีขนาดกะทัดรัดและทนทานต่อเสียงรบกวนซึ่งจับคู่กับฐานข้อมูลที่จัดทำดัชนีไว้
การประชุมประจำปีใดที่เกี่ยวข้องกับการวิจัย MIR มากที่สุด
ISMIR ซึ่งเป็นการประชุมสมาคมระหว่างประเทศเพื่อการสืบค้นข้อมูลดนตรีเป็นสถานที่ศูนย์กลางของสนาม
ข้อได้เปรียบที่สำคัญของโมเดลเสียงที่ควบคุมตนเองใน MIR ยุคใหม่คืออะไร
การเรียนรู้แบบมีผู้ดูแลด้วยตนเองจะแยกโครงสร้างดนตรีทั่วไปออกจากเสียงที่ไม่มีป้ายกำกับ ช่วยลดความจำเป็นในการใช้ชุดข้อมูลที่มีป้ายกำกับด้วยมือซึ่งมีราคาแพง