Πρόκληση Καταστολής Βαθιού Θορύβου
Το Deep Noise Suppression (DNS) Challenge είναι ένας διαγωνισμός που διεξάγεται Microsoft που ωθεί τους ερευνητές να δημιουργήσουν νευρωνικά δίκτυα που αφαιρούν το θόρυβο του περιβάλλοντος από την ομιλία σε πραγματικό χρόνο.
Επισκόπηση
It set the modern benchmarks that power features like Teams and Zoom noise removal.
Βαθιά κατάδυση
Το DNS Challenge, το οποίο ξεκίνησε από τον Microsoft το 2020 και επαναλαμβάνεται για αρκετά χρόνια (συχνά στο INTERSPEECH και το ICASSP), έδωσε στις ομάδες ένα μεγάλο, τυποποιημένο σύνολο δεδομένων καθαρού λόγου, κλιπ θορύβου και συνθετικά μεικτές θορυβώδεις ηχογραφήσεις. Κυρίως, μετατόπισε την αξιολόγηση μακριά από τα παλαιότερα μαθηματικά σημάτων όπως το PESQ προς τις βαθμολογίες ανθρώπινης ακρόασης και τους μαθητευόμενους προγνωστικούς παράγοντες της αντιληπτής ποιότητας. Πρόσθεσε επίσης δύσκολες πραγματικές συνθήκες: αντηχητικά δωμάτια, μη ακίνητοι θόρυβοι (πληκτρολογήσεις, σκύλοι, σειρήνες), τονικούς θορύβους και εξατομικευμένα σενάρια όπου ένα μοντέλο πρέπει να καταστείλει τους πάντες εκτός από ένα εγγεγραμμένο ηχείο-στόχο. Δημοσιεύοντας δεδομένα, γραμμές βάσης και ένα κοινό σύνολο δοκιμών, επέτρεψε στα εργαστήρια να συγκρίνουν μήλα με μήλα και επιτάχυνε τη μετάβαση από τα κόλπα φιλτραρίσματος στη βαθιά εκμάθηση από άκρο σε άκρο για τη βελτίωση της ομιλίας.
Τεχνική διορατικότητα
Οι εγγραφές συνήθως τροφοδοτούν τον βραχυχρόνιο μετασχηματισμό Fourier της θορυβώδους κυματομορφής σε ένα επαναλαμβανόμενο ή συνελικτικό δίκτυο που προβλέπει μια μάσκα χρονικής συχνότητας. Ο πολλαπλασιασμός της μάσκας με το θορυβώδες φάσμα εξασθενεί τους κάδους που κυριαρχούν από θόρυβο, ενώ διατηρούνται εκείνες που κυριαρχούν η ομιλία και, στη συνέχεια, ένα αντίστροφο STFT αναδομεί την κυματομορφή. Οι κανόνες σε πραγματικό χρόνο περιορίζουν τον αλγοριθμικό λανθάνοντα χρόνο (περίπου 40 ms) και απαιτούν αιτιολογική επεξεργασία, επομένως τα μοντέλα δεν μπορούν να κοιτάξουν τον μελλοντικό ήχο κατά τον καθαρισμό του τρέχοντος πλαισίου.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
The Future of Deep Noise Suppression Challenge
Αναμένετε ότι το πλαίσιο θα επεκταθεί προς την εξατομικευμένη και πολυτροπική καταστολή, όπου η κίνηση των χειλιών ή το φωνητικό αποτύπωμα ενός ομιλητή καθοδηγούν τι πρέπει να κρατήσετε. Τα μοντέλα συρρικνώνονται για να λειτουργούν στη συσκευή για ακουστικά και ακουστικά βαρηκοΐας και η επεξεργασία πλήρους ζώνης 48 kHz καθίσταται στάνταρ, ώστε να επιβιώνουν η μουσική και οι υψηλές συχνότητες. Οι παραγωγικές προσεγγίσεις που συνθέτουν εκ νέου την καθαρή ομιλία, αντί να συγκαλύπτουν μόνο τον θόρυβο, είναι ένα ενεργό και μερικές φορές αμφιλεγόμενο σύνορο.
Υλοποίηση σε πραγματικό κόσμο
Αφαίρεση θορύβου φόντου σε πραγματικό χρόνο σε ομάδες Microsoft και άλλες εφαρμογές βιντεοκλήσεων
Πιο καθαρή λήψη ομιλίας σε ακουστικά και ακουστικά κατά τη διάρκεια των μετακινήσεων ή των πολυάσχολων καφέ
Προεπεξεργασία θορυβωδών εγγραφών πεδίου πριν από την αυτόματη μεταγραφή ή τη δημιουργία λεζάντας
Βελτίωση της κατανοητότητας σε βοηθήματα ακοής και βοηθητικές συσκευές ακρόασης
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deep Noise Suppression Challenge quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Βαθιά Μάθηση
Συχνές ερωτήσεις
What is Deep Noise Suppression Challenge?
Το Deep Noise Suppression (DNS) Challenge είναι ένας διαγωνισμός που διεξάγεται Microsoft που ωθεί τους ερευνητές να δημιουργήσουν νευρωνικά δίκτυα που αφαιρούν το θόρυβο του περιβάλλοντος από την ομιλία σε πραγματικό χρόνο. Έθεσε τα σύγχρονα σημεία αναφοράς που ισχύουν για λειτουργίες όπως η αφαίρεση θορύβου Teams και Zoom.
Ποιος οργανισμός ξεκίνησε το Deep Noise Suppression (DNS) Challenge;
Ο Microsoft κυκλοφόρησε το DNS Challenge το 2020 και το έτρεξε σε χώρους όπως το INTERSPEECH και το ICASSP.
Ποιος είναι ο κύριος στόχος των συστημάτων που έχουν δημιουργηθεί για το DNS Challenge;
Η πρόκληση στοχεύει στη βελτίωση της ομιλίας σε πραγματικό χρόνο, καταστέλλοντας τον θόρυβο διατηρώντας παράλληλα τη φωνή του ομιλητή.
Γιατί η επεξεργασία DNS σε πραγματικό χρόνο απαγορεύει στα μοντέλα να χρησιμοποιούν μελλοντικά πλαίσια ήχου;
Η ζωντανή συνομιλία απαιτεί αιτιώδη επεξεργασία, χαμηλής καθυστέρησης, επομένως το μοντέλο μπορεί να χρησιμοποιεί μόνο τον προηγούμενο και τον τρέχοντα ήχο.
Μια κοινή τεχνική στις καταχωρήσεις DNS είναι η πρόβλεψη μιας «μάσκας». Τι κάνει η μάσκα;
Μια μάσκα χρόνου-συχνότητας πολλαπλασιάζεται με το θορυβώδες φάσμα για να καταστείλει τα δοχεία που κυριαρχούνται από θόρυβο και να διατηρήσει την ομιλία.
Πώς άλλαξε το DNS Challenge τον τρόπο αξιολόγησης της βελτίωσης ομιλίας;
Η πρόκληση κινήθηκε προς τα τεστ ανθρώπινης ακρόασης και έμαθε προγνωστικά αντιληπτικής ποιότητας αντί για μαθηματικά σήματος μόνο.