ความท้าทายในการลดเสียงรบกวนระดับลึก
การแข่งขัน Deep Noise Suppression (DNS) คือการแข่งขัน Microsoft ที่ผลักดันให้นักวิจัยสร้างโครงข่ายประสาทเทียมที่ตัดเสียงรบกวนพื้นหลังออกจากคำพูดแบบเรียลไทม์
ภาพรวม
It set the modern benchmarks that power features like Teams and Zoom noise removal.
เจาะลึก
DNS Challenge เปิดตัวโดย Microsoft ในปี 2020 และทำซ้ำเป็นเวลาหลายปี (บ่อยครั้งที่ INTERSPEECH และ ICASSP) ทำให้ทีมได้รับชุดข้อมูลขนาดใหญ่ที่เป็นมาตรฐานของคำพูดที่สะอาด คลิปเสียง และการบันทึกเสียงสังเคราะห์ผสมที่มีเสียงรบกวน สิ่งสำคัญที่สุดคือ เปลี่ยนการประเมินจากคณิตศาสตร์สัญญาณแบบเก่า เช่น PESQ ไปสู่คะแนนการฟังของมนุษย์และเรียนรู้ตัวทำนายเกี่ยวกับคุณภาพการรับรู้ นอกจากนี้ยังเพิ่มเงื่อนไขในโลกแห่งความเป็นจริงที่ยากลำบาก เช่น ห้องที่มีเสียงก้อง เสียงที่ไม่อยู่กับที่ (การพิมพ์ เสียงสุนัข เสียงไซเรน) เสียงวรรณยุกต์ และสถานการณ์ส่วนบุคคลที่แบบจำลองจะต้องระงับทุกคน ยกเว้นผู้พูดเป้าหมายที่ลงทะเบียนไว้ ด้วยการปล่อยข้อมูล เส้นฐาน และชุดการทดสอบทั่วไป ช่วยให้ห้องปฏิบัติการเปรียบเทียบแอปเปิ้ลกับแอปเปิ้ล และเร่งการเปลี่ยนจากเทคนิคการกรองไปสู่การเรียนรู้เชิงลึกตั้งแต่ต้นทางถึงปลายทางเพื่อปรับปรุงคำพูด
ข้อมูลเชิงลึกทางเทคนิค
โดยทั่วไปรายการจะป้อนการแปลงฟูเรียร์ในช่วงเวลาสั้นของรูปคลื่นที่มีสัญญาณรบกวนให้เป็นเครือข่ายที่เกิดซ้ำหรือแบบหมุนวนที่คาดการณ์มาสก์ความถี่ของเวลา การคูณมาสก์ด้วยสเปกตรัมที่มีเสียงดังจะลดทอนถังขยะที่มีเสียงรบกวน ในขณะที่ยังคงรักษาตัวกรองที่มีเสียงพูดเป็นหลัก จากนั้น STFT แบบผกผันจะสร้างรูปคลื่นขึ้นใหม่ กฎแบบเรียลไทม์จำกัดเวลาแฝงของอัลกอริทึม (ประมาณ 40 ms) และต้องมีการประมวลผลเชิงสาเหตุ ดังนั้นโมเดลจึงไม่สามารถมองเสียงในอนาคตได้เมื่อทำความสะอาดเฟรมปัจจุบัน
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของความท้าทายในการลดเสียงรบกวนระดับลึก
คาดหวังว่ากรอบการทำงานจะขยายไปสู่การปราบปรามส่วนบุคคลและหลายรูปแบบ โดยที่การเคลื่อนไหวของริมฝีปากหรือเสียงของผู้พูดจะนำทางว่าควรเก็บอะไรไว้ โมเดลต่างๆ กำลังลดขนาดลงเพื่อให้ใช้งานกับหูฟังเอียร์บัดและเครื่องช่วยฟังบนอุปกรณ์ได้ และการประมวลผลฟูลแบนด์ 48 kHz กำลังกลายเป็นมาตรฐาน ดังนั้นเพลงและความถี่สูงจึงยังคงอยู่ วิธีการกำเนิดที่สังเคราะห์คำพูดที่สะอาดอีกครั้ง แทนที่จะเป็นเพียงการปิดบังเสียงรบกวน ถือเป็นขอบเขตที่กระตือรือร้นและบางครั้งก็เป็นที่ถกเถียงกัน
การใช้งานจริงในโลกแห่งความเป็นจริง
การลบเสียงรบกวนเบื้องหลังแบบเรียลไทม์ใน Microsoft ทีมและแอปวิดีโอคอลอื่นๆ
การจับคำพูดที่คมชัดยิ่งขึ้นในหูฟังเอียร์บัดและชุดหูฟังระหว่างการเดินทางหรือร้านกาแฟที่มีผู้คนพลุกพล่าน
การประมวลผลการบันทึกภาคสนามที่มีสัญญาณรบกวนก่อนการถอดเสียงหรือคำบรรยายอัตโนมัติ
การปรับปรุงความเข้าใจในเครื่องช่วยฟังและอุปกรณ์ช่วยฟัง
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deep Noise Suppression Challenge quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การเรียนรู้เชิงลึก
คำถามที่พบบ่อย
What is Deep Noise Suppression Challenge?
การแข่งขัน Deep Noise Suppression (DNS) คือการแข่งขัน Microsoft ที่ผลักดันให้นักวิจัยสร้างโครงข่ายประสาทเทียมที่ตัดเสียงรบกวนพื้นหลังออกจากคำพูดแบบเรียลไทม์ โดยกำหนดเกณฑ์มาตรฐานสมัยใหม่ที่ขับเคลื่อนฟีเจอร์ต่างๆ เช่น Teams และ Zoom การลบสัญญาณรบกวน
องค์กรใดที่เปิดตัว Deep Noise Suppression (DNS) Challenge
Microsoft เปิดตัว DNS Challenge ในปี 2020 และดำเนินการในสถานที่อย่าง INTERSPEECH และ ICASSP
เป้าหมายหลักของระบบที่สร้างขึ้นสำหรับ DNS Challenge คืออะไร
ความท้าทายนี้มุ่งเป้าไปที่การปรับปรุงคำพูดแบบเรียลไทม์ โดยลดเสียงรบกวนโดยที่ยังคงรักษาเสียงของผู้พูดเอาไว้
เหตุใดการประมวลผล DNS แบบเรียลไทม์จึงห้ามไม่ให้โมเดลใช้เฟรมเสียงในอนาคต
การสนทนาสดต้องใช้การประมวลผลเชิงสาเหตุและมีเวลาแฝงต่ำ ดังนั้นโมเดลจึงสามารถใช้ได้เฉพาะเสียงในอดีตและปัจจุบันเท่านั้น
เทคนิคทั่วไปในรายการ DNS คือการทำนาย 'มาสก์' หน้ากากทำอะไร?
หน้ากากความถี่เวลาจะถูกคูณด้วยสเปกตรัมที่มีเสียงดังเพื่อระงับถังขยะที่มีเสียงรบกวนและรักษาคำพูด
DNS Challenge เปลี่ยนวิธีประเมินการปรับปรุงคำพูดอย่างไร
ความท้าทายมุ่งไปสู่การทดสอบการฟังของมนุษย์และเรียนรู้ตัวทำนายคุณภาพการรับรู้ แทนที่จะส่งสัญญาณทางคณิตศาสตร์เพียงอย่างเดียว