คุณสมบัติ Filterbank และ PLP
คุณสมบัติ Filterbank และ Perceptual Linear Prediction (PLP) เป็นวิธีสรุปสัญญาณเสียงเป็นตัวเลขที่มีความหมายและกะทัดรัดซึ่งโมเดลการเรียนรู้ของเครื่องสามารถใช้ได้
ภาพรวม
They matter because they let speech recognizers focus on the parts of sound humans actually hear, discarding irrelevant detail.
เจาะลึก
ในการเปลี่ยนเสียงดิบให้เป็นคุณสมบัติต่างๆ สัญญาณจะถูกแบ่งออกเป็นเฟรมสั้นๆ และส่งผ่านตัวกรองที่ทับซ้อนกันซึ่งเว้นระยะห่างในระดับเมล ซึ่งเลียนแบบความไวความถี่แบบไม่เชิงเส้นของหู การรวมพลังงานในตัวกรองแต่ละตัวจะสร้างคุณสมบัติธนาคารตัวกรอง log-mel ซึ่งเป็นอินพุตที่โดดเด่นสำหรับโมเดลเสียงพูดเชิงลึกสมัยใหม่ PLP ซึ่งพัฒนาโดย Hynek Hermansky ได้เพิ่มจิตวิทยาอะคูสติกมากขึ้น โดยจะใช้แถบความถี่วิกฤตระดับเปลือกไม้ ความถี่เส้นโค้งที่ถ่วงน้ำหนักความดังเท่ากันเช่นเดียวกับที่หูทำ และการบีบอัดความเข้มต่อความดังของรากลูกบาศก์ จากนั้นจึงปรับโมเดลทุกขั้ว (การทำนายเชิงเส้น) เพื่อทำให้สเปกตรัมราบรื่น ผลลัพธ์ที่ได้คือการนำเสนอในมิติต่ำที่ทนทานต่อความแตกต่างของลำโพงและช่องสัญญาณ MFCC เป็นญาติใกล้ชิดที่เพิ่มการแปลงโคไซน์เพื่อตกแต่งสัมพันธ์กับเอาท์พุตของ filterbank
ข้อมูลเชิงลึกทางเทคนิค
แนวคิดหลักคือการบิดเบี้ยวในการรับรู้: เฮิรตซ์เชิงเส้นถูกแมปใหม่กับเกล็ดเมลหรือเปลือกไม้ ดังนั้นฟิลเตอร์จึงแคบที่ความถี่ต่ำและกว้างที่ความถี่สูง ซึ่งตรงกับความละเอียดของประสาทหูเทียม การเน้นย้ำความดังเท่ากันของ PLP และแบบจำลองการบีบอัดรูตลูกบาศก์ว่าการรับรู้ความดังของหูไม่เป็นเชิงเส้นอย่างไร ขั้นตอนการคาดการณ์เชิงเส้นขั้นสุดท้ายจะพอดีกับขอบเขตสเปกตรัมที่ราบรื่น โดยจับรูปร่างของเส้นเสียงในขณะที่ลดฮาร์โมนิกของระดับเสียงที่แตกต่างกันระหว่างลำโพง
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของคุณสมบัติ Filterbank และ PLP
เครือข่าย Deep Neural Networks ต้องการธนาคารกรอง Log-Mel แบบดิบมากกว่าคุณสมบัติ PLP หรือ MFCC ที่ได้รับการออกแบบทางวิศวกรรมอย่างหนัก เนื่องจากเครือข่ายเรียนรู้การเปลี่ยนแปลงของตัวเองได้ดีกว่าความสัมพันธ์การตกแต่งที่ออกแบบด้วยมือ ชายแดนคือส่วนหน้าที่สามารถเรียนรู้ได้ เช่น SincNet และ wav2vec ที่ทำงานในรูปแบบคลื่นดิบ ถึงกระนั้น mel filterbanks ยังคงแพร่หลายในฐานะอินพุตที่มีความเสถียรและต้นทุนต่ำ และหลักการการรับรู้ที่อยู่เบื้องหลัง PLP ยังคงแจ้งให้ทราบต่อไปว่าวิศวกรออกแบบและตีความการนำเสนอที่เรียนรู้เหล่านี้อย่างไร
การใช้งานจริงในโลกแห่งความเป็นจริง
การคำนวณคุณสมบัติธนาคารตัวกรอง log-mel 40 รายการต่อเฟรมเป็นอินพุตไปยังเครือข่ายประสาทเสียงพูดเป็นข้อความ
การใช้คุณสมบัติ PLP ในระบบคำสั่งเสียงที่มีเสียงรบกวนสำหรับรถยนต์
ไปป์ไลน์การจดจำผู้พูดที่ต้องอาศัยคุณสมบัติสเปกตรัมที่บิดเบี้ยวในการรับรู้
การระบุคีย์เวิร์ดบนอุปกรณ์ที่ใช้พลังงานต่ำซึ่งฟีเจอร์ธนาคารตัวกรองขนาดกะทัดรัดช่วยลดการคำนวณ
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Filterbank and PLP Features quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การตรวจสอบเชิงเส้นและการประเมินคุณสมบัติการแช่แข็ง
คำถามที่พบบ่อย
What is Filterbank and PLP Features?
คุณสมบัติ Filterbank และ Perceptual Linear Prediction (PLP) เป็นวิธีสรุปสัญญาณเสียงเป็นตัวเลขที่มีความหมายและกะทัดรัดซึ่งโมเดลการเรียนรู้ของเครื่องสามารถใช้ได้ สิ่งเหล่านี้มีความสำคัญเนื่องจากปล่อยให้โปรแกรมรู้จำคำพูดมุ่งเน้นไปที่ส่วนของเสียงที่มนุษย์ได้ยินจริง โดยละทิ้งรายละเอียดที่ไม่เกี่ยวข้อง
เหตุใดธนาคารตัวกรองคำพูดจึงมีระยะห่างในระดับเมลหรือเปลือกไม้แทนที่จะเป็นเฮิรตซ์เชิงเส้น
เม็ดเมลและเปลือกไม้จะปรับขนาดความละเอียดของประสาทหูเทียมของมนุษย์โดยประมาณ ซึ่งจะละเอียดกว่าที่ความถี่ต่ำและหยาบกว่าที่ความถี่สูง
ขั้นตอนการทำนายเชิงเส้นใน PLP บรรลุผลสำเร็จอย่างไร
PLP เหมาะกับโมเดลแบบทุกขั้วเพื่อสร้างขอบเขตสเปกตรัมที่ราบรื่น โดยจับลักษณะเฉพาะของเส้นเสียงและในขณะเดียวกันก็ลดฮาร์โมนิกระดับเสียงที่ขึ้นกับลำโพง
คุณลักษณะประเภทใดที่เป็นอินพุตที่โดดเด่นสำหรับโมเดลการรู้จำคำพูดเชิงลึกสมัยใหม่
คุณสมบัติ Log-mel filterbank เป็นอินพุตมาตรฐาน กะทัดรัด และมีความหมายในการรับรู้สำหรับโมเดลเสียงพูดลึกในปัจจุบัน
MFCC แตกต่างจากฟีเจอร์ธนาคารตัวกรอง log-mel แบบดิบอย่างไร
MFCC ใช้การแปลงโคไซน์แบบไม่ต่อเนื่องที่ด้านบนของพลังงานธนาคารตัวกรองล็อกเมลเพื่อตกแต่งให้สัมพันธ์กันเป็นค่าสัมประสิทธิ์ขนาดกะทัดรัด
PLP มีองค์ประกอบการรับรู้อะไรบ้างที่ mel filterbanks พื้นฐานไม่มี?
PLP เพิ่มการเน้นความดังล่วงหน้าที่เท่ากันและการบีบอัดความเข้มต่อความดังของคิวบ์รูทเพื่อสร้างแบบจำลองการรับรู้ความดังของมนุษย์ได้ดียิ่งขึ้น