คู่มือเสียง AI

การถอดเสียงเพลงอัตโนมัติ

การถอดเสียงเพลงอัตโนมัติ (AMT) จะแปลงเสียงบันทึกดิบของเพลงให้เป็นสัญลักษณ์เชิงสัญลักษณ์ เช่น โน้ตเพลง, MIDI หรือเปียโนโรล

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการถอดเสียงเพลงอัตโนมัติ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

มันแก้ปัญหาที่ยากที่สุดอย่างหนึ่งใน AI เสียง: การแก้โน้ตที่ทับซ้อนกันหลายตัวที่เล่นพร้อมกัน

เจาะลึก

ระบบ AMT จะฟังรูปคลื่นเสียงและเอาต์พุตซึ่งมีการเล่นโน้ต เมื่อเริ่มเล่น ระยะเวลาที่เล่น และบางครั้งเครื่องดนตรีใดที่เล่น ความท้าทายหลักคือโพลีโฟนี: เมื่อโน้ตหลายตัวส่งเสียงพร้อมกัน ฮาร์โมนิคของพวกมันจะทับซ้อนกันและเบลอด้วยกันในสเปกตรัมความถี่ ดังนั้น C และ G ตัวเดียวจึงแยกได้ยากจากโน้ตตัวเดียวที่ดังกว่า ระบบสมัยใหม่แปลงเสียงให้เป็นการแสดงความถี่ตามเวลา เช่น เมล-สเปกโตรแกรมหรือการแปลงค่าคงที่คิว จากนั้นใช้โครงข่ายประสาทเทียมระดับลึกเพื่อคาดการณ์การเริ่มต้นของโน้ต ออฟเซ็ต และระดับเสียงสูงต่ำ โมเดล Onsets and Frames ของ Google เป็นจุดสังเกตสำหรับการถอดเสียงเปียโน ในขณะที่โมเดลทรานส์ฟอร์มเมอร์รุ่นใหม่ๆ เช่น MT3 สามารถถอดเสียงเครื่องดนตรีหลายเครื่องพร้อมกันได้

การใช้งานจริงในโลกแห่งความเป็นจริง

AnthemScore และแอปที่คล้ายกันจะแปลงการบันทึก MP3 ให้เป็นโน้ตเพลงที่แก้ไขได้สำหรับนักดนตรีที่เรียนรู้เพลงจากหู

การแยก MIDI จากการบันทึกเสียงเปียโน เพื่อให้โปรดิวเซอร์สามารถเปล่งเสียงใหม่หรือกำหนดปริมาณการแสดงใน DAW

เครื่องมือการศึกษาด้านดนตรีที่เปรียบเทียบโน้ตที่เล่นของนักเรียนกับคะแนนเพื่อแจ้งโน้ตที่ผิดหรือพลาด

นักดนตรีที่ถอดเสียงการบันทึกในอดีตหรือแบบด้นสด (เช่น โซโล่แจ๊ส) มาเป็นโน้ตเพื่อการวิเคราะห์

อนาคตของการถอดเสียงเพลงอัตโนมัติ

AMT กำลังเปลี่ยนจากเปียโนเดี่ยวไปสู่การถอดเสียงเครื่องดนตรีหลายเครื่องดนตรีและฟูลแบนด์ที่เชื่อถือได้ รวมถึงกลอง เสียงร้อง และเทคนิคการแสดงอารมณ์ เช่น การโค้งงอและเสียงสั่น สถาปัตยกรรมหม้อแปลงไฟฟ้าที่ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลสังเคราะห์ขนาดใหญ่และชุดข้อมูลที่สอดคล้องกันกำลังปิดช่องว่าง คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับการแยกแหล่งที่มา การถอดเสียงแบบเรียลไทม์สำหรับการแสดงสด และเครื่องมือที่บันทึกช่วงเวลาย่อยและไดนามิก ไม่ใช่แค่บันทึกย่อ เป้าหมายระยะยาวคือระบบที่จะเปลี่ยนการบันทึกใดๆ ให้เป็นคะแนนที่แก้ไขได้และมนุษย์สามารถอ่านได้

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Automatic Music Transcription quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การถอดเสียงเพลงอัตโนมัติคืออะไร?

การถอดเสียงเพลงอัตโนมัติ (AMT) จะแปลงเสียงบันทึกดิบของเพลงให้เป็นสัญลักษณ์เชิงสัญลักษณ์ เช่น โน้ตเพลง, MIDI หรือเปียโนโรล มันจัดการหนึ่งในปัญหาที่ยากที่สุดในเสียง AI: แก้โน้ตที่ทับซ้อนกันหลายอันที่เล่นในคราวเดียว

การถอดเสียงเพลงอัตโนมัติให้เอาท์พุตอะไรเป็นหลัก?

AMT แปลงการบันทึกเสียงเป็นสัญลักษณ์สัญลักษณ์ เช่น MIDI เปียโนโรล หรือแผ่นโน้ตเพลงที่อธิบายโน้ตที่เล่น

เหตุใดเพลงโพลีโฟนิกจึงยากต่อการถอดเสียงเป็นพิเศษ?

เมื่อโน้ตหลายตัวส่งเสียงพร้อมกัน เสียงฮาร์โมนิคจะทับซ้อนกัน ทำให้ยากต่อการแยกแยะว่าเสียงใดมีอยู่บ้าง

สิ่งที่น่าทึ่งเกี่ยวกับโมเดล Onsets and Frames ของ Google

การโจมตีและเฟรมใช้หัวหนึ่งเพื่อตรวจจับการโจมตีของโน้ตที่แม่นยำ และอีกหัวหนึ่งสำหรับระดับเสียงที่ต่อเนื่อง โดยการโจมตีจะกำหนดเอาท์พุตของเฟรม

เหตุใด Constant-Q Transform จึงมีประโยชน์สำหรับดนตรี

ระดับเสียงดนตรีจะถูกเว้นระยะห่างแบบลอการิทึม (ความถี่สองเท่าของอ็อกเทฟ) และถังขยะที่เว้นระยะห่างจากบันทึกของ CQT จะจัดเรียงตามสิ่งนี้ตามธรรมชาติ

'การโจมตี' หมายถึงอะไรในการถอดความ

การโจมตีคือช่วงเวลาที่คมชัดและมีพลังเมื่อโน้ตเริ่มเล่น ซึ่งง่ายต่อการระบุตำแหน่งอย่างแม่นยำมากกว่าการรักษาไว้

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →