ภาพรวม
การแข่งขัน Deep Noise Suppression (DNS) คือการแข่งขัน Microsoft ที่ผลักดันให้นักวิจัยสร้างโครงข่ายประสาทเทียมที่ตัดเสียงรบกวนพื้นหลังออกจากคำพูดแบบเรียลไทม์ โดยกำหนดเกณฑ์มาตรฐานสมัยใหม่ที่ขับเคลื่อนฟีเจอร์ต่างๆ เช่น Teams และ Zoom การลบสัญญาณรบกวน
Deep Noise Suppression Challenge ตั้งอยู่ในเวิร์กโฟลว์เสียง-AI ที่เปลี่ยนคำพูด เพลง และเสียงเพื่อการสื่อสาร การเข้าถึง และการผลิตสื่อ
เจาะลึก
DNS Challenge เปิดตัวโดย Microsoft ในปี 2020 และทำซ้ำเป็นเวลาหลายปี (บ่อยครั้งที่ INTERSPEECH และ ICASSP) ทำให้ทีมได้รับชุดข้อมูลขนาดใหญ่ที่เป็นมาตรฐานของคำพูดที่สะอาด คลิปเสียง และการบันทึกเสียงสังเคราะห์ผสมที่มีเสียงรบกวน สิ่งสำคัญที่สุดคือ เปลี่ยนการประเมินจากคณิตศาสตร์สัญญาณแบบเก่า เช่น PESQ ไปสู่คะแนนการฟังของมนุษย์และเรียนรู้ตัวทำนายเกี่ยวกับคุณภาพการรับรู้ นอกจากนี้ยังเพิ่มเงื่อนไขในโลกแห่งความเป็นจริงที่ยากลำบาก เช่น ห้องที่มีเสียงก้อง เสียงที่ไม่อยู่กับที่ (การพิมพ์ เสียงสุนัข เสียงไซเรน) เสียงวรรณยุกต์ และสถานการณ์ส่วนบุคคลที่แบบจำลองจะต้องระงับทุกคน ยกเว้นผู้พูดเป้าหมายที่ลงทะเบียนไว้ ด้วยการปล่อยข้อมูล เส้นฐาน และชุดการทดสอบทั่วไป ช่วยให้ห้องปฏิบัติการเปรียบเทียบแอปเปิ้ลกับแอปเปิ้ล และเร่งการเปลี่ยนจากเทคนิคการกรองไปสู่การเรียนรู้เชิงลึกตั้งแต่ต้นทางถึงปลายทางเพื่อปรับปรุงคำพูด
ข้อมูลเชิงลึกทางเทคนิค
โดยทั่วไปรายการจะป้อนการแปลงฟูเรียร์ในช่วงเวลาสั้นของรูปคลื่นที่มีสัญญาณรบกวนให้เป็นเครือข่ายที่เกิดซ้ำหรือแบบหมุนวนที่คาดการณ์มาสก์ความถี่ของเวลา การคูณมาสก์ด้วยสเปกตรัมที่มีเสียงดังจะลดทอนถังขยะที่มีเสียงรบกวน ในขณะที่ยังคงรักษาตัวกรองที่มีเสียงพูดเป็นหลัก จากนั้น STFT แบบผกผันจะสร้างรูปคลื่นขึ้นใหม่ กฎแบบเรียลไทม์จำกัดเวลาแฝงของอัลกอริทึม (ประมาณ 40 ms) และต้องมีการประมวลผลเชิงสาเหตุ ดังนั้นโมเดลจึงไม่สามารถมองเสียงในอนาคตได้เมื่อทำความสะอาดเฟรมปัจจุบัน
การเรียนรู้ความท้าทายในการลดเสียงรบกวนระดับลึก
การแข่งขัน Deep Noise Suppression (DNS) คือการแข่งขัน Microsoft ที่ผลักดันให้นักวิจัยสร้างโครงข่ายประสาทเทียมที่ตัดเสียงรบกวนพื้นหลังออกจากคำพูดแบบเรียลไทม์ โดยกำหนดเกณฑ์มาตรฐานสมัยใหม่ที่ขับเคลื่อนฟีเจอร์ต่างๆ เช่น Teams และ Zoom การลบสัญญาณรบกวน Deep Noise Suppression Challenge ตั้งอยู่ในเวิร์กโฟลว์เสียง-AI ที่เปลี่ยนคำพูด เพลง และเสียงเพื่อการสื่อสาร การเข้าถึง และการผลิตสื่อ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Deep Noise Suppression Challenge เป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Deep Noise Suppression Challenge จะถือว่าคุณภาพ เวลาแฝง และความยินยอมเป็นส่วนสำคัญของกลยุทธ์การปรับใช้ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง ในขณะเดียวกัน การใช้ Voice ในทางที่ผิดและการแอบอ้างบุคคลอื่นก็มีความเสี่ยงเพิ่มขึ้นเมื่อไม่ได้รับความยินยอม แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การลบเสียงรบกวนเบื้องหลังแบบเรียลไทม์ใน Microsoft ทีมและแอปวิดีโอคอลอื่นๆ
การจับคำพูดที่คมชัดยิ่งขึ้นในหูฟังเอียร์บัดและชุดหูฟังระหว่างการเดินทางหรือร้านกาแฟที่มีผู้คนพลุกพล่าน
การประมวลผลการบันทึกภาคสนามที่มีสัญญาณรบกวนก่อนการถอดเสียงหรือคำบรรยายอัตโนมัติ
การปรับปรุงความเข้าใจในเครื่องช่วยฟังและอุปกรณ์ช่วยฟัง
รูปแบบการดำเนินงาน
ความท้าทายในการลดเสียงรบกวนระดับลึกในทางปฏิบัติ
การลบเสียงรบกวนเบื้องหลังแบบเรียลไทม์ใน Microsoft ทีมและแอปแฮงเอาท์วิดีโออื่นๆ
การลบเสียงรบกวนพื้นหลังแบบเรียลไทม์ใน Microsoft ทีมและแอปแฮงเอาท์วิดีโออื่นๆ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความท้าทายในการลดเสียงรบกวนระดับลึกในทางปฏิบัติ
การจับคำพูดที่คมชัดยิ่งขึ้นในหูฟังเอียร์บัดและชุดหูฟังระหว่างการเดินทางหรือร้านกาแฟที่มีผู้คนพลุกพล่าน
การจับคำพูดที่คมชัดยิ่งขึ้นในหูฟังเอียร์บัดและชุดหูฟังระหว่างการเดินทางหรือร้านกาแฟที่มีผู้คนพลุกพล่าน ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อกำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความท้าทายในการลดเสียงรบกวนระดับลึกในทางปฏิบัติ
การประมวลผลการบันทึกภาคสนามที่มีสัญญาณรบกวนก่อนการถอดเสียงหรือคำบรรยายอัตโนมัติ
การประมวลผลการบันทึกภาคสนามที่มีเสียงรบกวนก่อนการถอดเสียงหรือคำบรรยายอัตโนมัติ ทีมมักจะได้ผลลัพธ์ที่ดีกว่าเมื่อกำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความท้าทายในการลดเสียงรบกวนระดับลึกในทางปฏิบัติ
การปรับปรุงความเข้าใจในเครื่องช่วยฟังและอุปกรณ์ช่วยฟัง
การปรับปรุงความชัดเจนในเครื่องช่วยฟังและอุปกรณ์ช่วยฟัง ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น