Overview
VALL-E yakagadziridza zvakare mavara-kune-kutaura sedambudziko rekuenzanisira mutauro pamusoro pemaodhiyo ecodec tokens, ichigonesa kuumba izwi kubva pamasekonzi matatu chete emuenzaniso. Yakaratidza kuti iwowo anotevera-chiratidzo fungidziro yekusimbisa mameseji maLLM anogona kuburitsa zvinoshamisa, kutaura kunonzwika.
VALL-E uye Codec Mutauro Models inogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau.
Deep Dive
Yakaziviswa ne Microsoft kutanga kwa 2023, VALL-E inobata mataurirwo ekutaura semhando yemutauro. Panzvimbo pekufanotaura spectrogram, inofanotaura discrete acoustic tokens yeneural codec (EnCodec), saka chizvarwa chinova chinotevera-chiratidzo kufanotaura pamusoro pezwi rekuteerera. Tichipihwa kurekodha kwemasekondi matatu emutauri asingaonekwe pamwe nemavara anonongedzwa, VALL-E inoenderera nezwi remutauri, ichichengetedza timbre uye kunyangwe nharaunda yeacoustic. Yakadzidziswa paanenge 60,000 maawa ekutaura, zvakanyanya kudarika akajairwa TTS datasets, iyo yakapa iyo yakasimba zero-shot cloning. Nekuti macodec tokens akaturikidzana (kuburikidza neRVQ), VALL-E inoshandisa matanho maviri: autoregressive modhi inofanotaura yekutanga, yakaomarara tokeni rukova rwakamisikidzwa nekukasira, uye isiri-autoregressive modhi inozadza mune asara ma tokeni. Iyi codec-LM resipi yakafuridzira vatsivi vakaita seVALL-E 2 uye akawanda ekutaura nheyo modhi.
Technical Insight
Iwo manomano ndeye hybrid decoding pamusoro pehierarchical codec tokens. Iyo autoregressive nhanho inofanotaura iyo yakakosha yekutanga-codebook tokens imwe panguva, ichitora prosody uye zvirimo. Iwo asara macodebook, ayo anowedzera yakanaka acoustic tsanangudzo, anofanotaurwa mukufambirana neasiri-autoregressive modhi akaiswa parukova rwekutanga uye nekukasira kwemukurukuri. Kupatsanura uku kunochengeta hunhu hwakakwirira uchidzivirira mutengo wekugadzira chiratidzo chese zvakatevedzana, uye kushandisa codec zvinoreva kutaura uye zvinyorwa zvinogona kuenzanisirwa nemuchina weshanduko imwe chete.
Mastering VALL-E uye Codec Mutauro Models
VALL-E yakagadziridza zvakare mavara-kune-kutaura sedambudziko rekuenzanisira mutauro pamusoro pemaodhiyo ecodec tokens, ichigonesa kuumba izwi kubva pamasekonzi matatu chete emuenzaniso. Yakaratidza kuti iwowo anotevera-chiratidzo fungidziro yekusimbisa mameseji maLLM anogona kuburitsa zvinoshamisa, kutaura kunonzwika. VALL-E uye Codec Mutauro Models inogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau. Kuvaka kunzwisisa kwakadzama, tora VALL-E uye Codec Mutauro Models semuenzaniso wekushandisa, kwete chinhu chimwe chete: tsanangura zvinodikanwa, kujekesa fungidziro, uye patsanura izvo system inogona kuita nekuvimbika kubva kune izvo zvichiri kuda kutonga kwenyanzvi.
Mukuita, zvikwata zvakasimba zvinoshandisa VALL-E uye Codec Mutauro Models zvinobata mhando, latency, uye mvumo sezvikamu zvakakosha zvakaenzana zvehurongwa hwekuendesa. Ivo vanonyora zvakajeka maitiro ebudiriro, bvunzo vachipokana ne data rechokwadi uye mafambiro ebasa, uye iterate zvichibva pane zvakacherechedzwa maitiro ekutadza kwete kuhwina-nguva imwe chete yebhenji. Apa ndipo apo kunzwisisa kwe theoretical kunoshanduka kuve kugona kwakasimba pane chigadzirwa, mutemo, uye mashandiro.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Panguva imwecheteyo, kusashandiswa kweIzwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo. Nzira yakatsiga ndeyekubatanidza kukurumidza kuyedza nekutonga: mhanyisa vatyairi vendege, tora humbowo, buritsa matanda esarudzo, uye urambe uchivandudza chengetedzo semaitiro emuenzaniso, zvinotarisirwa nemushandisi, uye zvinodikanwa zvekutonga.
Strategic Impact
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Real-World Implementation
Kuvhara izwi kubva pamasekonzi mashoma ekuteerera kune vanhu vabatsiri kana maturusi ekuwanika anodzoreredza izwi rakarasika
Kuunza uye kuisa vhidhiyo mune mimwe mitauro uchichengeta timb remutauri wekutanga
Kugadzira rondedzero inonakidza, inofananidzwa nemamiriro ezvinhu inochengetedza kurekodha mamiriro eacoustic
Kushanda semusana wekutaura mune multimodal vabatsiri vanonzwisisa uye kuburitsa odhiyo inotaurwa
Maitiro Ekuita
VALL-E uye Codec Mutauro Models mukuita
Kuvhara izwi kubva pamasekonzi mashoma ekuteerera kune vanhu vabatsiri kana maturusi ekuwanika anodzoreredza izwi rakarasika.
Kuvhara izwi kubva pamasekonzi mashoma ekuteerera kune vabatsiri vemunhu kana maturusi ekuwanika anodzoreredza izwi rakarasika Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura mhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
VALL-E uye Codec Mutauro Models mukuita
Kuunza uye kuisa vhidhiyo mune mimwe mitauro uchichengeta timb remutauri wekutanga.
Kuisa uye kuisa vhidhiyo mune mimwe mitauro uchichengeta mutauri wekutanga timbre Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura mhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
VALL-E uye Codec Mutauro Models mukuita
Kugadzira rondedzero inonakidza, inofananidzwa nemamiriro ezvinhu inochengetedza kurekodha mamiriro eacoustic.
Kugadzira rondedzero inotaura, inofananidzwa nemamiriro ezvinhu inochengetedza kurekodha nzvimbo yeacoustic Matimu anowanzo kuwana mibairo iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
VALL-E uye Codec Mutauro Models mukuita
Kushanda semusana wekutaura mune multimodal vabatsiri vanonzwisisa uye kuburitsa odhiyo inotaurwa.
Kushanda semusana wekutaura muvabatsiri vemultimodal vanonzwisisa uye kugadzira Matimu anonzwika anotaurwa kazhinji vanowana mhedzisiro iri nani kana vachinge vatsanangudza zvikumbaridzo zvemhando yepamusoro, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Njodzi & Guardrails
Kusashandisa izwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo.
Kururama kunogona kudonha mumitauro, mataurirwo, kana nharaunda dzine ruzha.
Synthetic audio inogona kukanganisa kutaura kwechokwadi isina mavara akajeka.
Implementation Roadmap
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare.
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.