Als nächstesNächster Leitfaden
Kaldi-Spracherkennungs-Toolkit
Audio-KI
Audio-KI-GUIDE
Noise2Noise-Sprachverbesserung
Noise2Noise trainiert ein Wiederherstellungsmodell aus Paaren fehlerhafter Beobachtungen desselben zugrunde liegenden Signals, ohne dass ein sauberes Ziel erforderlich ist.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
Das statistische Argument hängt von geeigneten Korruptionsannahmen ab; Das Papier aus dem Jahr 2018 demonstriert Bildwiederherstellungsaufgaben, während das gleiche Prinzip für Sprache in Betracht gezogen werden kann, wenn gültige verrauschte Paare verfügbar sind.
Tiefer Einblick
Noise2Noise hat gezeigt, dass ein Modell die Wiederherstellung aus beschädigten Eingabe-Ziel-Paaren statt aus sauberen Zielen lernen kann. Für ein Ziel mit quadratischem Fehler ist die optimale Vorhersage der bedingte Mittelwert des Ziels angesichts der Eingabe. Wenn die Zielverfälschung angesichts der Eingabe einen bedingten Mittelwert von Null aufweist und dasselbe zugrunde liegende saubere Signal verwendet, kann dieser Mittelwert dem sauberen Signal entsprechen. Diese Annahmen sind wichtig: Korrelierte oder verzerrte Verfälschungen können in der erlernten Schätzung verbleiben. Die Originalarbeit demonstrierte die Entfernung von fotografischem Rauschen, die synthetische Monte-Carlo-Rauschunterdrückung und die unterabgetastete MRT-Rekonstruktion; Die Anwendung der Methode auf Sprache erfordert ebenfalls entsprechend gepaarte verrauschte Versionen derselben Äußerung.
Reale Umsetzung
Trainieren Sie Wiederherstellungsmodelle aus wiederholten verrauschten Aufnahmen derselben Quelle, wenn keine sauberen Referenzen verfügbar sind
Untersuchung der Verstärkung lauter Sprache, wenn gepaarte Aufnahmen dieselbe Äußerung aufweisen und geeignete unabhängige Verfälschungen aufweisen
Lernen aus verrauschten fotografischen, synthetischen Monte-Carlo- oder unterabgetasteten MRT-Beispielen wie in der Arbeit
Vergleich des überwachten Clean-Target-Trainings mit dem Noisy-Target-Training unter übereinstimmenden Annahmen
Die Zukunft der Noise2Noise-Sprachverbesserung
Noise2Noise eröffnete eine Familie selbstüberwachter Rauschunterdrückungsmethoden, darunter Noise2Void und Noise2Self, die die Anforderungen noch weiter in Richtung Lernen aus einzelnen verrauschten Samples lockern. Erwarten Sie für Sprache, dass diese Ideen eine geräteinterne Verbesserung für Hörgeräte, Anrufe und Feldaufzeichnungen ermöglichen, bei denen das Sammeln sauberer Referenzen unpraktisch ist. In Kombination mit generativen Vocodern können zukünftige Systeme nicht nur Rauschen subtrahieren, sondern auch maskierte oder zerstörte Sprachinhalte plausibel rekonstruieren und dabei dem Sprecher treu bleiben.
In die Tat umsetzen
Warum es wichtig ist
- Zugang und Erreichbarkeit. Es verbessert die Zugänglichkeit durch Transkription, Erzählung und Sprachschnittstellen.
- Kosten und Budget. Medienteams können mit kleineren Budgets schneller ausgefeilte Audioinhalte liefern.
- Geschwindigkeit und Umfang. Kundenorientierte Systeme können gesprochene Interaktionen in größerem Maßstab verarbeiten.
Achten Sie auf
- Das Risiko von Stimmmissbrauch und Identitätsdiebstahl steigt, wenn die Einwilligung fehlt.
- Die Genauigkeit kann je nach Akzent, Dialekt oder lauter Umgebung abnehmen.
- Synthetisches Audio kann ohne klare Kennzeichnung mit authentischer Sprache verwechselt werden.
Nächste Schritte
- Holen Sie die ausdrückliche Zustimmung zur Spracherfassung, zum Klonen und zur Wiederverwendung ein.
- Testen Sie die Qualität über verschiedene Lautsprecher und Hintergrundbedingungen hinweg.
- Definieren Sie, wann ein Mensch Ausgaben überprüfen oder genehmigen muss.
- Kennzeichnen Sie synthetisches Audio und bewahren Sie Aufzeichnungen über die Herkunft auf, um die Verantwortlichkeit zu gewährleisten.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the Noise2Noise Speech Enhancement quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
Was ist Noise2Noise-Sprachverbesserung?
Noise2Noise trainiert ein Wiederherstellungsmodell aus Paaren fehlerhafter Beobachtungen desselben zugrunde liegenden Signals, ohne dass ein sauberes Ziel erforderlich ist. Das statistische Argument hängt von geeigneten Korruptionsannahmen ab; Das Papier aus dem Jahr 2018 demonstriert Bildwiederherstellungsaufgaben, während das gleiche Prinzip für Sprache in Betracht gezogen werden kann, wenn gültige verrauschte Paare verfügbar sind.
Was ist der überraschende Kernanspruch von Noise2Noise?
Noise2Noise hat gezeigt, dass Sie einen effektiven Rauschunterdrücker trainieren können, indem Sie nur Paare beschädigter Beispiele und keine sauberen Ziele verwenden.
Warum kann sich das Netzwerk das Rauschen im Zielclip nicht einfach merken?
Da das Rauschen des Ziels zufällig und unabhängig von der Eingabe ist, kann das Netzwerk es nicht vorhersagen und konvergiert stattdessen zum sauberen erwarteten Wert.
Welche bedingte Statistik minimiert beim Training mit quadratischen Fehlern den erwarteten Verlust?
Der erwartete quadratische Fehler wird durch den bedingten Mittelwert minimiert; Mit geeigneten Annahmen zur Paarkorruption kann es mit dem sauberen Signal übereinstimmen.
Was muss an dem dem Ziel hinzugefügten Rauschen wahr sein, damit der Trick funktioniert?
Das Zielrauschen muss im Mittelwert Null liegen und statistisch unabhängig vom Eingangsrauschen sein, damit es während des Trainings gemittelt wird.
Welche bedingte Statistik wird für das Training mit absoluten Fehlern minimiert?
Der erwartete absolute Fehler wird bei einem bedingten Median minimiert; Dies garantiert keine saubere Wiederherstellung ohne geeignete Korruptionsannahmen.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt