NastępnyNastępny poradnik
Równoległy wokoder WaveGAN
Dźwiękowa sztuczna inteligencja
PRZEWODNIK AI audio
Wokodery HiFi-GAN i GAN
HiFi-GAN to wokoder generatywno-kontradykcyjny, który niemal natychmiast przekształca spektrogram mel w surową falę audio, tworząc mowę o studyjnej jakości znacznie szybciej niż w czasie rzeczywistym.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Stało się to standardowym końcowym etapem nowoczesnego syntezu mowy na mowę, ponieważ jest szybkie, lekkie i trudne do odróżnienia od prawdziwych nagrań.
Głębokie nurkowanie
Wokoder to ostatni krok w większości potoków TTS: model taki jak Tacotron lub FastSpeech przewiduje spektrogram mel (kompaktowy obraz częstotliwości w czasie), a wokoder wypełnia rzeczywiste próbki kształtu fali. Wczesne wokodery neuronowe, takie jak WaveNet, brzmiały świetnie, ale generowały dźwięk próbka po próbce, przez co były boleśnie powolne. HiFi-GAN, wydany przez Konga, Kima i Bae w 2020 roku, zastąpił tę pętlę autoregresyjną pojedynczym generatorem sprzężenia zwrotnego wytrenowanym kontradyktoryjnie. Kluczową sztuczką jest użycie wielu dyskryminatorów, które oceniają dźwięk w różnych skalach i na podstawie różnych wzorców okresowych, zmuszając generator do uzyskania właściwej tekstury i częstotliwości tonu. Rezultatem jest mowa 22 kHz, syntetyzowana setki razy szybciej niż w czasie rzeczywistym na procesorze graficznym, z jakością porównywalną z prawdziwym dźwiękiem.
Implementacja w świecie rzeczywistym
Generowanie komunikatów głosowych wirtualnych asystentów i aplikacji nawigacyjnych, które wymagają odpowiedzi bez słyszalnego opóźnienia.
Zasilanie narzędzi do klonowania i kopiowania głosu w czasie rzeczywistym, gdzie sklonowany spektrogram mel jest renderowany w naturalnie brzmiący dźwięk.
Prowadzenie platform z narracją audiobooków i podcastów, które szybko i tanio syntetyzują godziny przemówień.
Służy jako scena przebiegu w syntezatorach głosu śpiewającego i demach muzycznych za pośrednictwem uniwersalnych wokoderów w stylu BigVGAN.
Przyszłość wokoderów HiFi-GAN i GAN
Wokodery GAN stają się coraz mniejsze i szybsze: potomkowie, tacy jak BigVGAN, dodają aktywacje wygładzające, aby uogólnić niewidzianych wokalistów, instrumenty i języki, podczas gdy UnivNet i Vocos dążą do uniwersalnej syntezy wszystkich pasm. Wersje do przesyłania strumieniowego i na urządzenia obsługują teraz wokodowanie w telefonach i słuchawkach, co zapewnia asystentom niskie opóźnienia. Coraz częściej modele audio z funkcją dyfuzji i dopasowywania przepływu są przekształcane w jednoprzebiegowe generatory typu GAN, łącząc wierność dyfuzji z szybkością GAN. Można się spodziewać, że wokodery staną się uniwersalnymi neuronowymi kodekami audio obsługującymi zarówno mowę, jak i muzykę.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Dostęp i zasięg. Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
- Koszt i budżet. Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
- Szybkość i skala. Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Uważaj na
- W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
- Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
- Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Kolejne kroki
- Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
- Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
- Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
- Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the HiFi-GAN and GAN Vocoders quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czym są wokodery HiFi-GAN i GAN?
HiFi-GAN to wokoder generatywno-kontradykcyjny, który niemal natychmiast przekształca spektrogram mel w surową falę audio, tworząc mowę o studyjnej jakości znacznie szybciej niż w czasie rzeczywistym. Stał się standardowym końcowym etapem współczesnego przetwarzania tekstu na mowę, ponieważ jest szybki, lekki i trudny do odróżnienia od prawdziwych nagrań.
Jakie jest główne zadanie wokodera takiego jak HiFi-GAN w potoku zamiany tekstu na mowę?
Wokoder to ostatni etap syntezy rzeczywistych próbek kształtu fali ze spektrogramu mel utworzonego przez model akustyczny.
Dlaczego HiFi-GAN jest znacznie szybszy niż wcześniejszy wokoder WaveNet?
WaveNet generował dźwięk próbka po próbce (autoregresywnie), podczas gdy generator sprzężenia zwrotnego HiFi-GAN generuje przebieg w jednym cyklu, osiągając prędkość znacznie większą niż w czasie rzeczywistym.
Co konkretnie dyskryminator wielookresowy HiFi-GAN pomaga w wychwytywaniu?
Dyskryminator wielookresowy przekształca przebieg 1D w 2D przy użyciu okresów liczb pierwszych w celu wykrycia struktury okresowej powiązanej z wysokością dźwięku.
Wokodery GAN są szkolone „przeciwstawnie”. Co to oznacza tutaj?
W konfiguracji GAN generator uczy się wytwarzać kształty fal na tyle realistyczne, aby oszukać sieci dyskryminacyjne przeszkolone do odróżniania dźwięku rzeczywistego od syntetycznego.
Który późniejszy wokoder rozszerza HiFi-GAN, aby lepiej uogólnić niewidoczne głosy, śpiew i instrumenty?
BigVGAN skaluje HiFi-GAN i dodaje okresowe aktywacje antyaliasingowe, poprawiając uogólnienie dźwięku spoza dystrybucji, takiego jak śpiew i instrumenty.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat