Als nächstesNächster Leitfaden
Textnormalisierung für Sprache
Audio-KI
Audio-KI-GUIDE
Sprache-zu-Sprache-Übersetzung
Bei der Speech-to-Speech-Übersetzung (S2ST) werden gesprochene Wörter in einer Sprache übernommen und in einer anderen Sprache erzeugt – wobei im Idealfall die Stimme, der Ton und das Timing des Sprechers erhalten bleiben.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
Es ist der seit langem gesuchte „Universalübersetzer“ für Live-Gespräche.
Tiefer Einblick
Die Speech-to-Speech-Übersetzung wandelt Audio in einer Ausgangssprache in Audio in einer Zielsprache um. Der klassische Ansatz ist eine Kaskade: Spracherkennung (ASR) transkribiert die Eingabe, maschinelle Übersetzung wandelt den Text um und Text-to-Speech (TTS) spricht das Ergebnis vor. Dies funktioniert, sammelt jedoch in jeder Phase Fehler an und erhöht die Latenz. Neuere „direkte“ oder End-to-End-Systeme übersetzen Sprache in Sprache mit weniger Textzwischenschritten, reduzieren Verzögerungen und bewahren die Ausdrucksqualitäten besser. Die SeamlessM4T- und Seamless-Suite von Meta übersetzen in rund 100 Sprachen und zielen darauf ab, den Gesangsstil, die Emotionen und den Rhythmus des Sprechers beizubehalten. Ein schwieriges Problem ist die Übersetzung in Echtzeit mit geringer Latenz: Das System muss mit der Übersetzung beginnen, bevor ein Satz zu Ende ist, und dabei Geschwindigkeit und Genauigkeit in Einklang bringen.
Reale Umsetzung
Live-Übersetzung von Videoanrufen, die es den Teilnehmern ermöglicht, ihre eigene Sprache zu sprechen und sich gegenseitig in ihrer eigenen zu hören.
Ohrhörer und AR-Brillen, die ein Gespräch während einer Auslandsreise im Handumdrehen übersetzen.
Synchronisation von Filmen und Videos in andere Sprachen unter Beibehaltung der Stimmen und Emotionen der Originalsprecher.
Notfall- und Gesundheitseinrichtungen, in denen ein Arzt und ein Patient, die keine gemeinsame Sprache sprechen, schnell kommunizieren können.
Die Zukunft der Sprache-zu-Sprache-Übersetzung
Das Ziel ist eine nahtlose, nahezu sofortige Übersetzung, bei der Ihre eigene Stimme und Ihre Emotionen in Ohrhörern, Brillen und Videoanrufen eingebettet bleiben. Erwarten Sie eine breitere Abdeckung ressourcenarmer Sprachen, geringere Latenzzeiten und einen besseren Umgang mit Slang, Namen und sich überschneidenden Sprechern. Die Bewahrung der Stimme wirft Bedenken bezüglich Einwilligung und Deepfake auf, sodass Wasserzeichen und Schutzmaßnahmen zunehmen werden. Da die Modelle für die Verwendung auf dem Gerät immer kleiner werden, könnte die private Offline-Übersetzung mehrsprachige Konversationen in Echtzeit zur Routine für Reisen, das Gesundheitswesen und die globale Zusammenarbeit machen.
In die Tat umsetzen
Warum es wichtig ist
- Zugang und Erreichbarkeit. Es verbessert die Zugänglichkeit durch Transkription, Erzählung und Sprachschnittstellen.
- Kosten und Budget. Medienteams können mit kleineren Budgets schneller ausgefeilte Audioinhalte liefern.
- Geschwindigkeit und Umfang. Kundenorientierte Systeme können gesprochene Interaktionen in größerem Maßstab verarbeiten.
Achten Sie auf
- Das Risiko von Stimmmissbrauch und Identitätsdiebstahl steigt, wenn die Einwilligung fehlt.
- Die Genauigkeit kann je nach Akzent, Dialekt oder lauter Umgebung abnehmen.
- Synthetisches Audio kann ohne klare Kennzeichnung mit authentischer Sprache verwechselt werden.
Nächste Schritte
- Holen Sie die ausdrückliche Zustimmung zur Spracherfassung, zum Klonen und zur Wiederverwendung ein.
- Testen Sie die Qualität über verschiedene Lautsprecher und Hintergrundbedingungen hinweg.
- Definieren Sie, wann ein Mensch Ausgaben überprüfen oder genehmigen muss.
- Kennzeichnen Sie synthetisches Audio und bewahren Sie Aufzeichnungen über die Herkunft auf, um die Verantwortlichkeit zu gewährleisten.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the Speech-to-Speech Translation quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
Was ist Speech-to-Speech-Übersetzung?
Bei der Speech-to-Speech-Übersetzung (S2ST) werden gesprochene Wörter in einer Sprache übernommen und in einer anderen Sprache erzeugt – wobei im Idealfall die Stimme, der Ton und das Timing des Sprechers erhalten bleiben. Es ist der seit langem gesuchte „Universalübersetzer“ für Live-Gespräche.
Was macht die Speech-to-Speech-Übersetzung (S2ST)?
S2ST nimmt gesprochene Eingaben in einer Ausgangssprache auf und erzeugt gesprochene Ausgaben in einer Zielsprache, wobei Stimme und Ton idealerweise erhalten bleiben.
Was sind die drei Stufen eines klassischen kaskadierten S2ST-Systems?
Eine Kaskade verkettet ASR (Speech-to-Text), maschinelle Übersetzung und TTS (Text-to-Speech), wobei sich in jeder Phase möglicherweise Fehler ansammeln.
Was ist ein entscheidender Vorteil von direktem (End-to-End) S2ST gegenüber kaskadierten Systemen?
Direkte Systeme bilden Sprache mit weniger Zwischenschritten im Text ab, reduzieren Verzögerungen und tragen dazu bei, Ausdrucksqualitäten wie Prosodie beizubehalten.
Welches Meta-System ist für die Übersetzung in etwa 100 Sprachen bekannt?
SeamlessM4T und die Seamless-Suite von Meta übersetzen in etwa 100 Sprachen und zielen darauf ab, den Stil und die Emotionen des Sprechers zu bewahren.
Warum ist die Streaming-Übersetzung in Echtzeit eine besondere Herausforderung?
Da die Wortreihenfolge in den verschiedenen Sprachen unterschiedlich ist, muss sich ein Streaming-System zur Ausgabe verpflichten, bevor der Sprecher zu Ende spricht, wobei Geschwindigkeit gegen Genauigkeit abgewogen werden muss.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt