Równoległe generowanie dźwięku SoundStorm
SoundStorm to model generowania dźwięku Google, który generuje mowę i dźwięk równolegle, a nie pojedynczo, co znacznie przyspiesza syntezę dźwięku wysokiej jakości.
Przegląd
It matters because it cuts generation latency for long clips from minutes to seconds without sacrificing fidelity.
Głębokie nurkowanie
SoundStorm, wprowadzony przez Google w 2023 roku, generuje dźwięk reprezentowany jako dyskretne tokeny akustyczne z kodeka neuronowego o nazwie SoundStream. Wcześniejsze modele, takie jak AudioLM, tworzyły te tokeny w sposób autoregresyjny, przewidując każdy token po kolei, co jest powolne w przypadku długiego dźwięku. Zamiast tego SoundStorm wykorzystuje nieautoregresywne podejście oparte na maskach, zapożyczone z modeli generowania obrazu, takich jak MaskGIT. Zaczyna się od przeważnie zamaskowanych tokenów i iteracyjnie wypełnia je w kilku etapach dekodowania, przewidując wiele tokenów jednocześnie. Oparty na tokenach semantycznych (z modelu takiego jak AudioLM lub SPEAR-TTS), może zsyntetyzować 30 sekund naturalnego dialogu w około pół sekundy na TPU, około 100 razy szybciej niż linie bazowe autoregresyjne, dopasowując jednocześnie ich jakość i spójność głośników.
Wgląd techniczny
SoundStorm modeluje hierarchię poziomów kwantyzacji wektorów resztkowych (RVQ) z SoundStream. Podczas uczenia losowe żetony są maskowane, a model uczy się je przewidywać. Na podstawie wnioskowania przeprowadza dekodowanie równoległe w oparciu o pewność: w każdej iteracji przewiduje wszystkie zamaskowane tokeny, zatrzymuje te najbardziej pewne i ponownie maskuje resztę. Najpierw dekoduje podstawowe poziomy RVQ, a następnie dokładniejsze, osiągając pełny dźwięk w znacznie mniejszej liczbie kroków niż generowanie token po tokenie.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość generacji dźwięku równoległego SoundStorm
Dekodowanie oparte na masce równoległej staje się standardowym narzędziem zapewniającym szybki i kontrolowany dźwięk. Można się spodziewać, że będzie on obsługiwał agentów konwersacyjnych w czasie rzeczywistym, natychmiastową syntezę głosu i generowanie długich podcastów lub książek audio w sytuacjach, w których opóźnienia sprawiały, że modele autoregresyjne były niepraktyczne. Połączenie tego z silniejszym warunkowaniem semantycznym i znakami wodnymi poprawi realizm dialogów i identyfikowalność. Ten sam pomysł udoskonalania iteracyjnego prawdopodobnie połączy się z podejściami dyfuzyjnymi, zacierając granicę między tokenem kodeka a generatorami ciągłego dźwięku.
Implementacja w świecie rzeczywistym
Generowanie 30-sekundowych dialogów mówionych dla asystentów głosowych AI w mniej niż sekundę
Syntetyzowanie wieloobrotowych rozmów ze spójnymi głosami głośników na potrzeby prototypowania
Wspieranie zamiany tekstu na mowę o niskim opóźnieniu w agentach interaktywnych, w których występują opóźnienia w modelach autoregresyjnych
Szybkie tworzenie długich narracji audio poprzez równoległe wypełnianie tokenów akustycznych
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SoundStorm Parallel Audio Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Stabilna dyfuzja utajona dźwięku
Często zadawane pytania
What is SoundStorm Parallel Audio Generation?
SoundStorm to model generowania dźwięku Google, który generuje mowę i dźwięk równolegle, a nie pojedynczo, co znacznie przyspiesza syntezę dźwięku wysokiej jakości. Ma to znaczenie, ponieważ zmniejsza opóźnienie generacji długich klipów z minut do sekund bez utraty wierności.
Jaka jest kluczowa innowacja, która sprawia, że SoundStorm jest szybszy niż AudioLM?
SoundStorm zastępuje powolną autoregresję, generowanie token po tokenie, nieautoregresyjnym dekodowaniem równoległym, przewidując wiele tokenów jednocześnie.
Którą technikę generowania obrazu dostosowuje SoundStorm?
SoundStorm zapożycza strategię dekodowania opartą na zaufaniu, maskowania i uzupełniania, spopularyzowaną przez MaskGIT w syntezie obrazu.
Jakiego rodzaju reprezentację generuje SoundStorm?
SoundStorm przewiduje dyskretne tokeny akustyczne wytwarzane przez kodek SoundStream, które są później dekodowane w postaci fali.
Mniej więcej, ile czasu zajmuje SoundStorm wygenerowanie 30 sekund dźwięku na TPU?
SoundStorm może zsyntetyzować 30 sekund dźwięku w około 0,5 sekundy, około 100 razy szybciej niż bazowa autoregresja.
W jaki sposób SoundStorm decyduje, które przewidywane tokeny zachować podczas dekodowania?
W każdej iteracji zachowuje przewidywania dotyczące tokenów o najwyższej pewności i ponownie maskuje te niepewne na potrzeby następnego przebiegu.