การประมาณค่าสนามเครป
CREPE เป็นโมเดลการเรียนรู้เชิงลึกที่ประมาณความถี่พื้นฐาน (ระดับเสียง) ของสัญญาณเสียงโมโนโฟนิกโดยตรงจากรูปคลื่นดิบ
ภาพรวม
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
เจาะลึก
CREPE (Convolutional Representation for Pitch Estimation) เปิดตัวในปี 2018 โดย Kim, Salamon, Li และ Bello ทำนายระดับเสียงของโน้ตตัวเดียว (โมโนโฟนิก) เช่น เสียงร้องหรือเครื่องดนตรีเดี่ยว ต่างจากอัลกอริธึมคลาสสิกอย่าง YIN หรือ pYIN ที่ต้องอาศัยความสัมพันธ์อัตโนมัติของสัญญาณ CREPE นั้นเป็นโครงข่ายประสาทเทียมเชิงลึกที่ได้รับการฝึกโดยตรงบนเฟรมเสียงโดเมนเวลา มันวางกรอบการประมาณระดับเสียงเป็นปัญหาการจำแนกประเภท โดยส่งสัญญาณการกระจายความน่าจะเป็นมากกว่า 360 พิทช์บิน ซึ่งครอบคลุมประมาณหกอ็อกเทฟ โดยแต่ละอันห่างกัน 20 เซ็นต์ ถังขยะที่มีการเปิดใช้งานสูงสุด ซึ่งปรับแต่งด้วยค่าเฉลี่ยถ่วงน้ำหนักในพื้นที่ จะให้คะแนนความถี่โดยประมาณบวกกับคะแนนความเชื่อมั่น CREPE ได้รับการพิสูจน์แล้วว่าแข็งแกร่งกว่าวิธีการประมวลผลสัญญาณอย่างเห็นได้ชัด โดยเฉพาะอย่างยิ่งภายใต้สัญญาณรบกวน และปัจจุบันเป็นองค์ประกอบมาตรฐานในไปป์ไลน์การวิเคราะห์เพลงและคำพูดจำนวนมาก
ข้อมูลเชิงลึกทางเทคนิค
CREPE นำเฟรมเสียงตัวอย่าง 1,024 ตัวอย่างและส่งผ่านเลเยอร์ Convolutional ที่ซ้อนกันหกเลเยอร์ ซึ่งสิ้นสุดในเลเยอร์เอาต์พุต 360 ยูนิตพร้อมการเปิดใช้งาน sigmoid แต่ละยูนิตสอดคล้องกับพิตช์บินที่เว้นระยะห่างกัน 20 เซ็นต์ทั่วทั้งอ็อกเทฟประมาณหกอ็อกเทฟ เครือข่ายได้รับการฝึกฝนด้วยเอนโทรปีข้ามแบบไบนารีกับเป้าหมายที่เบลอแบบเกาส์เซียนซึ่งมีศูนย์กลางอยู่ที่ระดับเสียงที่แท้จริง ในการอนุมาน ความถี่ที่คาดการณ์ไว้คือค่าเฉลี่ยถ่วงน้ำหนักเฉพาะจุดของการเปิดใช้งานรอบพีคบิน และความสูงพีคทำหน้าที่เป็นค่าความเชื่อมั่น
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของการประมาณค่า Pitch ของ CREPE
การประมาณระดับเสียงกำลังเคลื่อนไปสู่โมเดลร่วมที่จัดการกับโพลีโฟนี (บันทึกพร้อมกันหลายรายการ) เวลาแฝงที่ลดลงสำหรับการปรับแต่งแบบเรียลไทม์และฮาร์โมนีอัตโนมัติ และเครือข่ายกลั่นขนาดเล็กที่ทำงานบนโทรศัพท์และอุปกรณ์ฝังตัว ผลลัพธ์ความมั่นใจของ CREPE จะถูกป้อนเข้าสู่งานปลายน้ำมากขึ้น เช่น การถอดเสียงอัตโนมัติ การแก้ไขเสียงร้อง และการวิเคราะห์ประสิทธิภาพการแสดงออก แนวทางการดูแลตนเองและการทำงานหลายอย่างพร้อมกันที่เรียนรู้ระดับเสียงควบคู่ไปกับเสียงต่ำและเสียงที่เปล่งออกมีแนวโน้มที่จะขยายความแม่นยำแบบ CREPE ให้มากกว่าเสียงโมโนโฟนิคที่สะอาด
การใช้งานจริงในโลกแห่งความเป็นจริง
ติดตามระดับเสียงของนักร้องเพื่อรับฟังความคิดเห็นแบบเรียลไทม์ในแอปฝึกร้อง
ขับเคลื่อนเครื่องมือปรับแต่งอัตโนมัติและแก้ไขระดับเสียงด้วยเส้นโค้งความถี่พื้นฐานที่แม่นยำ
การถอดเสียงท่วงทำนองเครื่องดนตรีเดี่ยวเป็น MIDI หรือแผ่นโน้ตเพลง
การวิเคราะห์น้ำเสียงและเสียงสั่นในการศึกษาด้านดนตรีและการวิจัยการแสดง
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
TTS ที่ควบคุมระดับเสียงได้ FastPitch
คำถามที่พบบ่อย
What is CREPE Pitch Estimation?
CREPE เป็นโมเดลการเรียนรู้เชิงลึกที่ประมาณความถี่พื้นฐาน (ระดับเสียง) ของสัญญาณเสียงโมโนโฟนิกโดยตรงจากรูปคลื่นดิบ โดยกำหนดมาตรฐานความแม่นยำใหม่สำหรับการติดตามระดับเสียง โดยเฉพาะอย่างยิ่งในการบันทึกที่มีเสียงดังหรือทำได้ยาก
CREPE ประมาณค่าอะไรจากสัญญาณเสียง?
CREPE คาดการณ์ความถี่พื้นฐาน เช่น ระดับเสียงที่รับรู้ของเสียงโมโนโฟนิก
CREPE ได้รับการออกแบบมาเพื่อเสียงประเภทใดเป็นหลัก
CREPE ประมาณระดับเสียงสำหรับสัญญาณโมโนโฟนิก เช่น เสียงเดียวหรือเครื่องดนตรีโซโล
CREPE วางกรอบงานการประมาณค่าพิทช์ภายในอย่างไร
CREPE แสดงผลการแจกแจงความน่าจะเป็นบนถังขนาด 360 พิทช์ โดยถือว่าการประมาณค่าเป็นการจัดประเภท
CREPE ใช้เป็นข้อมูลเข้าโดยตรงอย่างไร
ต่างจากวิธีการที่ใช้สเปกโตรแกรม CREPE ทำงานบนเฟรมรูปคลื่นดิบผ่านเลเยอร์แบบบิดเบี้ยว
ถังพิทช์ของ CREPE ห่างกันประมาณเท่าใด
CREPE ใช้ 360 bins โดยเว้นระยะห่างกัน 20 เซ็นต์ ให้ความละเอียดของซับเซมิโทนประมาณหกอ็อกเทฟ