VITS Ipari-si-Ipari Ọrọ Afoyemọ
VITS jẹ awoṣe ọrọ-si-ọrọ ti o yi ọrọ pada taara si awọn fọọmu ohun afetigbọ aise ni eto ikẹkọ ẹyọkan, ṣifo opo gigun ti ipele meji deede.
Akopọ
By combining variational inference with adversarial training, it produces remarkably natural, expressive speech.
Jin Dive
VITS (Itọka Iyatọ pẹlu ikẹkọ ọta fun ipari-si-opin Ọrọ-si-Ọrọ), ti Kim, Kong, ati Ọmọ ti ṣafihan ni ọdun 2021, dapọ awọn imọran mẹta ti awọn eto agbalagba tọju lọtọ. Aṣayipada autoencoder ti o ni majemu (VAE) kọ ẹkọ oniduro wiwaba ti ọrọ, ṣiṣe deede awọn ṣiṣan n jẹ ki pinpin wiwakọ rọ to lati mu awọn alaye akositiki ti o dara, ati iyasoto ara-GAN titari fọọmu igbi ti ipilẹṣẹ si ojulowo. Ni pataki, VITS ṣe ikẹkọ awoṣe akositiki ati vocoder papọ ju bii awọn ipele meji, imukuro aiṣedeede ti o dinku didara nigbati awọn modulu ba ni ikẹkọ lọtọ. O tun ṣafihan asọtẹlẹ iye akoko sitokasitik, nitorinaa gbolohun kanna ni a le sọ pẹlu oriṣiriṣi, awọn rhythmu ohun adayeba ni akoko kọọkan.
Imọ-imọ-ẹrọ
VITS yanju iṣoro titete pẹlu Monotonic Alignment Search (MAS), eyiti o rii aworan agbaye ti o dara julọ laarin awọn ami ọrọ ati awọn fireemu ohun lakoko ikẹkọ laisi awọn alakan ita. A ṣe iṣiro lẹhin VAE lati inu ohun ohun gangan, lakoko ti iṣaju iṣaju lori ọrọ ti ṣe atunto nipasẹ ṣiṣe deede awọn ṣiṣan lati baamu. Ni itọkasi, o ṣe ayẹwo lati ọrọ ṣaaju ki o pinnu taara si ọna igbi, nitorinaa ko si mel-spectrogram lọtọ ati ko si vocoder lọtọ ti a nilo.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ọjọ iwaju ti Afoyemọ Ọrọ Ipari-si-Ipari VITS
VITS ṣe agbekalẹ idile ti awọn arọpo ti o jẹ gaba lori orisun-ìmọ TTS. VITS2 ṣe irọrun faaji ati ilọsiwaju adayeba, lakoko ti YourTTS ati Coqui XTTS ti a lo lọpọlọpọ ṣe gbooro si isunmọ si isunmọ ohun-shot odo ati ọpọlọpọ awọn ede. Reti iṣẹ ti o tẹsiwaju lori fẹẹrẹfẹ, awọn iyatọ ẹrọ gidi-akoko, agbegbe ti o dara julọ fun awọn ede orisun-kekere, ati iṣakoso ti o lagbara lori imolara ati ọna sisọ, niwọn igba ti apẹrẹ ipari-si-opin jẹ iwunilori, ipilẹ ti oye daradara lati kọ lori.
Real-World imuse
Awọn ọkọ oju omi Coqui TTS awọn awoṣe ti o da lori VITS ti o ṣe agbejade itanran-tune lati ṣe ẹda oniye ti onirohin kan pato fun awọn iwe ohun.
Awọn oluranlọwọ ohun orisun ṣiṣi lori ohun elo kilasi Rasipibẹri Pi-kilasi lo awọn awoṣe VITS iwapọ fun iṣelọpọ ọrọ aisinipo ni kikun.
Awọn ohun elo ikẹkọ ede ṣe agbekalẹ awọn apẹẹrẹ pronunciation adayeba ni lilo awọn iyatọ VITS pupọ bi YourTTS.
Awọn ile-iṣere ere Indie ṣepọ awọn laini ijiroro NPC oriṣiriṣi, ti o gbẹkẹle asọtẹlẹ iye akoko sitokasitik fun ilu ti kii-robotic.
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VITS End-to-End Speech Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Akopọ Imolara Ọrọ
Awọn ibeere ti a beere nigbagbogbo
What is VITS End-to-End Speech Synthesis?
VITS jẹ awoṣe ọrọ-si-ọrọ ti o yi ọrọ pada taara si awọn fọọmu ohun afetigbọ aise ni eto ikẹkọ ẹyọkan, ṣifo opo gigun ti ipele meji deede. Nipa apapọ arosọ iyatọ pẹlu ikẹkọ ọta, o ṣe agbejade iyalẹnu adayeba, ọrọ asọye.
Kini adape VITS duro fun?
VITS duro fun Itọka Iyatọ pẹlu ikẹkọ ọta fun ipari-si-opin Ọrọ-si-Ọrọ, ti n ṣe afihan awọn eroja pataki mẹta rẹ.
Kini iyatọ ayaworan akọkọ laarin VITS ati awọn paipu TTS ibile?
VITS jẹ opin-si-opin: o kọ ẹkọ-si-igbi fọọmu ni awoṣe kan, yago fun aiṣedeede ti awoṣe akositiki lọtọ ati vocoder.
Bawo ni VITS ṣe kọ ẹkọ titete laarin ọrọ ati awọn fireemu ohun?
VITS nlo Iwadi Alignment Monotonic lati ṣe iwari titete ọrọ-si-fireemu ti o dara julọ ninu inu, laisi alaiṣedeede ita ti o nilo.
Kini idi ti VITS ṣe pẹlu asọtẹlẹ iye akoko sitokasitik kan?
Asọtẹlẹ iye akoko sitokasitik jẹ ki a sọ gbolohun kanna pẹlu oriṣiriṣi awọn rhythmi adayeba, yago fun alapin, cadence roboti.
Ẹya paati wo ni o titari iṣelọpọ VITS si ohun ohun ti n dun gidi?
VITS nlo ikẹkọ adversarial (GAN), nibiti olutayo kan ṣe idajọ boya awọn fọọmu igbi dun gidi, imudarasi didara oye.