Modele języka VALL-E i kodeków
VALL-E przeformułował zamianę tekstu na mowę jako problem modelowania języka za pomocą tokenów kodeków audio, umożliwiając klonowanie głosu z zaledwie trzech sekund próbki.
Przegląd
It showed that the same next-token prediction powering text LLMs can generate remarkably natural, expressive speech.
Głębokie nurkowanie
Ogłoszony przez Microsoft na początku 2023 r. VALL-E traktuje syntezę mowy jak modelowanie języka. Zamiast przewidywać spektrogram, przewiduje dyskretne tokeny akustyczne kodeka neuronowego (EnCodec), więc generowanie staje się przewidywaniem następnego tokena na podstawie słownictwa audio. Biorąc pod uwagę 3-sekundowe nagranie niewidocznego mówcy i tekst docelowy, VALL-E kontynuuje głos tego mówcy, zachowując barwę, a nawet środowisko akustyczne. Został przeszkolony na podstawie około 60 000 godzin mowy, czyli znacznie więcej niż typowe zbiory danych TTS, co umożliwiło mu silne klonowanie typu zero-shot. Ponieważ tokeny kodeków są warstwowe (poprzez RVQ), VALL-E wykorzystuje dwa etapy: model autoregresyjny przewiduje pierwszy, zgrubny strumień tokenów warunkowany na podstawie zachęty, a model nieautoregresyjny wypełnia pozostałe tokeny szczegółowe. Ten przepis na kodek-LM zainspirował następców, takich jak VALL-E 2 i wiele modeli stanowiących podstawę mowy.
Wgląd techniczny
Sztuka polega na dekodowaniu hybrydowym za pomocą hierarchicznych tokenów kodeków. Etap autoregresyjny przewiduje pojedynczo najważniejsze tokeny pierwszego słownika, przechwytując prozodię i treść. Pozostałe słowniki, które dodają drobne szczegóły akustyczne, są przewidywane równolegle przez model nieautoregresyjny uwarunkowany na podstawie pierwszego strumienia i podpowiedzi mówcy. Dzięki temu podziałowi jakość jest wysoka, a jednocześnie unika się kosztów generowania każdego tokena sekwencyjnie, a użycie kodeka oznacza, że mowę i tekst można modelować przy użyciu tej samej maszyny transformatorowej.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość modeli języka VALL-E i kodeków
Modele językowe oparte na kodekach łączą mowę z dużymi modelami językowymi, wskazując na ujednolicone systemy, które słuchają, rozumują i mówią w jednym modelu. Oczekuj lepszej stabilności i mniejszej liczby artefaktów, generowania transmisji strumieniowej w czasie rzeczywistym oraz większej kontroli nad emocjami i stylem. To samo potężne klonowanie, które sprawia, że VALL-E jest przydatny pod względem dostępności i dubbingu, budzi również obawy związane z deepfake'ami i zgodą, dlatego znak wodny, zabezpieczenia weryfikacji głosowej i bariery zabezpieczające stają się centralnym elementem wdrażania tych systemów.
Implementacja w świecie rzeczywistym
Klonowanie głosu z kilku sekund dźwięku na potrzeby spersonalizowanych asystentów lub narzędzi ułatwień dostępu, które przywracają utracony głos
Lokalizowanie i kopiowanie wideo na inne języki przy zachowaniu barwy oryginalnego głośnika
Generowanie wyrazistej, dopasowanej do kontekstu narracji, która zachowuje środowisko akustyczne nagrania
Pełni funkcję szkieletu mowy w asystentach multimodalnych, które zarówno rozumieją, jak i wytwarzają dźwięk mówiony
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VALL-E and Codec Language Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Pojawiające się możliwości dużych modeli językowych
Często zadawane pytania
What is VALL-E and Codec Language Models?
VALL-E przeformułował zamianę tekstu na mowę jako problem modelowania języka za pomocą tokenów kodeków audio, umożliwiając klonowanie głosu z zaledwie trzech sekund próbki. Okazało się, że ten sam komunikat LLM obsługujący przewidywanie następnego tokenu może generować niezwykle naturalną, ekspresyjną mowę.
Jaka podstawowa idea odróżnia VALL-E od wcześniejszych systemów zamiany tekstu na mowę?
VALL-E przekształca TTS w przewidywanie następnego tokenu w oparciu o dyskretne tokeny kodeka audio, traktując generowanie mowy jak model językowy.
Ile dźwięku referencyjnego potrzebuje VALL-E, aby sklonować głos nowego głośnika?
VALL-E może wykonać klonowanie głosu typu „zero-shot” z około 3-sekundowej próbki niewidocznego mówcy.
Którego kodeka neuronowego używa VALL-E do tworzenia swoich tokenów audio?
VALL-E opiera się na EnCodecu firmy Meta i przewiduje, że jego dyskretne tokeny akustyczne będą syntetyzować mowę.
Dlaczego VALL-E wykorzystuje zarówno etap autoregresyjny, jak i nieautoregresyjny?
Tokeny kodeków są hierarchiczne poprzez RVQ; VALL-E przewiduje autoregresywnie pierwszy strumień zgrubny i równolegle pozostałe tokeny szczegółów, aby zapewnić wydajność.
Mniej więcej, na jakiej ilości danych mowy przeszkolono VALL-E, umożliwiając silne klonowanie typu zero-shot?
VALL-E został przeszkolony na podstawie około 60 000 godzin mowy, czyli znacznie więcej niż typowe zbiory danych TTS, co wzmocniło jego uogólnienie typu zero-shot.