คู่มือเสียง AI
การถอดเสียงเพลงอัตโนมัติ
การถอดเสียงเพลงอัตโนมัติ (AMT) จะแปลงเสียงบันทึกดิบของเพลงให้เป็นสัญลักษณ์เชิงสัญลักษณ์ เช่น โน้ตเพลง, MIDI หรือเปียโนโรล
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
มันแก้ปัญหาที่ยากที่สุดอย่างหนึ่งใน AI เสียง: การแก้โน้ตที่ทับซ้อนกันหลายตัวที่เล่นพร้อมกัน
เจาะลึก
ระบบ AMT จะฟังรูปคลื่นเสียงและเอาต์พุตซึ่งมีการเล่นโน้ต เมื่อเริ่มเล่น ระยะเวลาที่เล่น และบางครั้งเครื่องดนตรีใดที่เล่น ความท้าทายหลักคือโพลีโฟนี: เมื่อโน้ตหลายตัวส่งเสียงพร้อมกัน ฮาร์โมนิคของพวกมันจะทับซ้อนกันและเบลอด้วยกันในสเปกตรัมความถี่ ดังนั้น C และ G ตัวเดียวจึงแยกได้ยากจากโน้ตตัวเดียวที่ดังกว่า ระบบสมัยใหม่แปลงเสียงให้เป็นการแสดงความถี่ตามเวลา เช่น เมล-สเปกโตรแกรมหรือการแปลงค่าคงที่คิว จากนั้นใช้โครงข่ายประสาทเทียมระดับลึกเพื่อคาดการณ์การเริ่มต้นของโน้ต ออฟเซ็ต และระดับเสียงสูงต่ำ โมเดล Onsets and Frames ของ Google เป็นจุดสังเกตสำหรับการถอดเสียงเปียโน ในขณะที่โมเดลทรานส์ฟอร์มเมอร์รุ่นใหม่ๆ เช่น MT3 สามารถถอดเสียงเครื่องดนตรีหลายเครื่องพร้อมกันได้
การใช้งานจริงในโลกแห่งความเป็นจริง
AnthemScore และแอปที่คล้ายกันจะแปลงการบันทึก MP3 ให้เป็นโน้ตเพลงที่แก้ไขได้สำหรับนักดนตรีที่เรียนรู้เพลงจากหู
การแยก MIDI จากการบันทึกเสียงเปียโน เพื่อให้โปรดิวเซอร์สามารถเปล่งเสียงใหม่หรือกำหนดปริมาณการแสดงใน DAW
เครื่องมือการศึกษาด้านดนตรีที่เปรียบเทียบโน้ตที่เล่นของนักเรียนกับคะแนนเพื่อแจ้งโน้ตที่ผิดหรือพลาด
นักดนตรีที่ถอดเสียงการบันทึกในอดีตหรือแบบด้นสด (เช่น โซโล่แจ๊ส) มาเป็นโน้ตเพื่อการวิเคราะห์
อนาคตของการถอดเสียงเพลงอัตโนมัติ
AMT กำลังเปลี่ยนจากเปียโนเดี่ยวไปสู่การถอดเสียงเครื่องดนตรีหลายเครื่องดนตรีและฟูลแบนด์ที่เชื่อถือได้ รวมถึงกลอง เสียงร้อง และเทคนิคการแสดงอารมณ์ เช่น การโค้งงอและเสียงสั่น สถาปัตยกรรมหม้อแปลงไฟฟ้าที่ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลสังเคราะห์ขนาดใหญ่และชุดข้อมูลที่สอดคล้องกันกำลังปิดช่องว่าง คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับการแยกแหล่งที่มา การถอดเสียงแบบเรียลไทม์สำหรับการแสดงสด และเครื่องมือที่บันทึกช่วงเวลาย่อยและไดนามิก ไม่ใช่แค่บันทึกย่อ เป้าหมายระยะยาวคือระบบที่จะเปลี่ยนการบันทึกใดๆ ให้เป็นคะแนนที่แก้ไขได้และมนุษย์สามารถอ่านได้
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
- ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
- ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
ระวัง
- การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
- ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
- เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
ขั้นตอนต่อไป
- ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
- ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
- กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
- ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Automatic Music Transcription quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การถอดเสียงเพลงอัตโนมัติคืออะไร?
การถอดเสียงเพลงอัตโนมัติ (AMT) จะแปลงเสียงบันทึกดิบของเพลงให้เป็นสัญลักษณ์เชิงสัญลักษณ์ เช่น โน้ตเพลง, MIDI หรือเปียโนโรล มันจัดการหนึ่งในปัญหาที่ยากที่สุดในเสียง AI: แก้โน้ตที่ทับซ้อนกันหลายอันที่เล่นในคราวเดียว
การถอดเสียงเพลงอัตโนมัติให้เอาท์พุตอะไรเป็นหลัก?
AMT แปลงการบันทึกเสียงเป็นสัญลักษณ์สัญลักษณ์ เช่น MIDI เปียโนโรล หรือแผ่นโน้ตเพลงที่อธิบายโน้ตที่เล่น
เหตุใดเพลงโพลีโฟนิกจึงยากต่อการถอดเสียงเป็นพิเศษ?
เมื่อโน้ตหลายตัวส่งเสียงพร้อมกัน เสียงฮาร์โมนิคจะทับซ้อนกัน ทำให้ยากต่อการแยกแยะว่าเสียงใดมีอยู่บ้าง
สิ่งที่น่าทึ่งเกี่ยวกับโมเดล Onsets and Frames ของ Google
การโจมตีและเฟรมใช้หัวหนึ่งเพื่อตรวจจับการโจมตีของโน้ตที่แม่นยำ และอีกหัวหนึ่งสำหรับระดับเสียงที่ต่อเนื่อง โดยการโจมตีจะกำหนดเอาท์พุตของเฟรม
เหตุใด Constant-Q Transform จึงมีประโยชน์สำหรับดนตรี
ระดับเสียงดนตรีจะถูกเว้นระยะห่างแบบลอการิทึม (ความถี่สองเท่าของอ็อกเทฟ) และถังขยะที่เว้นระยะห่างจากบันทึกของ CQT จะจัดเรียงตามสิ่งนี้ตามธรรมชาติ
'การโจมตี' หมายถึงอะไรในการถอดความ
การโจมตีคือช่วงเวลาที่คมชัดและมีพลังเมื่อโน้ตเริ่มเล่น ซึ่งง่ายต่อการระบุตำแหน่งอย่างแม่นยำมากกว่าการรักษาไว้
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้