ΕπόμενοΕπόμενος οδηγός
Εκπαίδευση AI
Βασικές αρχές
ΟΔΗΓΟΣ Audio AI
Μετάθεση Αμετάβλητη Εκπαίδευση
Η αναλλοίωτη εκπαίδευση μετάθεσης (PIT) είναι ένα έξυπνο κόλπο εκπαίδευσης που επιτρέπει σε ένα μοντέλο να διαχωρίζει πολλές φωνές χωρίς να ενδιαφέρεται σε ποια υποδοχή εξόδου θα προσγειώνεται κάθε φωνή.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It solved a stubborn labeling problem that had blocked progress in speech separation.
Βαθιά κατάδυση
Όταν ένα δίκτυο εξάγει δύο διαχωρισμένες φωνές, δεν υπάρχει φυσικός κανόνας για τον οποίο η έξοδος θα πρέπει να είναι «ηχείο 1» έναντι «ηχείο 2». Εάν η εκπαίδευση περιμένει πάντα το ηχείο Α στην έξοδο 1, αλλά το μοντέλο βάζει το Α στην έξοδο 2, τιμωρείται ακόμα κι αν ο διαχωρισμός ήταν τέλειος. Αυτό το «πρόβλημα μετάθεσης ετικέτας» έκανε τα μοντέλα να παράγουν θολές, μέσες εξόδους. Παρουσιάστηκε από τον Dong Yu και τους συνεργάτες του το 2017, το PIT το διορθώνει δοκιμάζοντας κάθε δυνατή σύζευξη μεταξύ των εξόδων του μοντέλου και των αληθινών πηγών, υπολογίζοντας το σφάλμα για καθεμία και διατηρώντας μόνο την εκχώρηση χαμηλότερου σφάλματος για την ενημέρωση του μοντέλου. Ως εκ τούτου, το δίκτυο ανταμείβεται για καθαρό διαχωρισμό ανεξάρτητα από την παραγγελία, κάνοντας τη συνεπή εκπαίδευση πολλών ηχείων τελικά να λειτουργήσει.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση νευρωνικών δικτύων για το διαχωρισμό δύο ή περισσότερων επικαλυπτόμενων ομιλητών σε εγγραφές συσκέψεων και κλήσεων.
Τροφοδοτικά συστήματα διαχωρισμού ενός μικροφώνου που χρησιμοποιούνται ως πρόσοψη για την αναγνώριση ομιλίας.
Ενεργοποίηση PIT σε επίπεδο εκφοράς για να διατηρεί κάθε ηχείο αντιστοιχισμένο σε ένα σταθερό κανάλι εξόδου κατά τη διάρκεια μιας συνομιλίας.
Χρησιμεύει ως στόχος εκπαίδευσης σε μοντέλα διαχωρισμού συγκριτικής αξιολόγησης που αξιολογούνται σε σύνολα δεδομένων όπως το WSJ0-2mix.
The Future of Permutation Invariant Training
Το PIT παραμένει η ραχοκοκαλιά της έρευνας διαχωρισμού, αλλά οι νεότερες κατευθύνσεις μειώνουν το συνδυαστικό κόστος και την ασάφεια της παραγγελίας. Προσεγγίσεις όπως ο αναδρομικός διαχωρισμός εξάγουν ένα ηχείο τη φορά και οι μέθοδοι ομιλητών στόχου παρακάμπτουν τη μετάθεση εξ ολοκλήρου εξαρτώντας από μια φωνητική υπόδειξη. Τα ευρετικά σχήματα και τα σχήματα ανάθεσης που βασίζονται σε γραφήματα στοχεύουν να κλιμακώσουν το PIT σε μεγαλύτερους, μεταβλητούς αριθμούς ηχείων. Αναμένετε ότι οι ιδέες σε στυλ PIT θα επιμείνουν οπουδήποτε ένα μοντέλο πρέπει να παράγει ένα μη ταξινομημένο σύνολο εξόδων, ακόμη και πέρα από τον ήχο.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Permutation Invariant Training quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Permutation Invariant Training?
Η αναλλοίωτη εκπαίδευση μετάθεσης (PIT) είναι ένα έξυπνο τέχνασμα εκπαίδευσης που επιτρέπει σε ένα μοντέλο να διαχωρίζει πολλές φωνές χωρίς να νοιάζεται σε ποια υποδοχή εξόδου θα προσγειώνεται κάθε φωνή. Έλυσε ένα επίμονο πρόβλημα ετικετών που είχε εμποδίσει την πρόοδο στον διαχωρισμό ομιλίας.
Ποιο βασικό πρόβλημα επιλύει η αναλλοίωτη εκπαίδευση μετάθεσης (PIT);
Το PIT αντιμετωπίζει το πρόβλημα μετάθεσης ετικέτας: δεν υπάρχει εγγενής λόγος που η έξοδος 1 πρέπει να είναι το ηχείο Α αντί το ηχείο Β.
Πώς αποφασίζει το PIT ποιο σφάλμα θα χρησιμοποιήσει κατά την ενημέρωση του μοντέλου;
Το PIT αξιολογεί την απώλεια για κάθε πιθανή μετάθεση και αναδιαδίδει μόνο την εκχώρηση ελάχιστης απώλειας.
Χωρίς μια λύση όπως το PIT, τι συνέβαινε με τις εξόδους του μοντέλου διαχωρισμού;
Η ασυνεπής επισήμανση έστειλε αντικρουόμενες κλίσεις, ωθώντας το μοντέλο προς τις μέσες, κηλιδωμένες εκτιμήσεις των ηχείων.
Για τον διαχωρισμό Ν ηχείων, πόσες μεταθέσεις πρέπει να λάβει υπόψη το PIT ανά βήμα;
Υπάρχουν Ν! τρόποι εκχώρησης N εξόδων σε N πηγές, γι' αυτό η κλιμάκωση PIT σε πολλά ηχεία είναι ακριβή.
Ποιο πλεονέκτημα προσθέτει το PIT σε επίπεδο έκφρασης (uPIT) έναντι της εκχώρησης σε επίπεδο πλαισίου;
Το uPIT διορθώνει μία μετάθεση για ολόκληρη την εκφώνηση, εμποδίζοντας τα ηχεία να αλλάζουν κανάλια στη μέση πρόταση.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα