Overview
Jukebox ndeye OpenAI's 2020 neural network inogadzira mhanzi yakaomeswa - yakazara nemanzwi ekuimba, zviridzwa, uye kunyange mazwi muchimiro chevatambi chaivo. Hwaive humbowo hunoratidza kuti AI yaigona kutevedzera iyo chaiyo waveform yerwiyo-kureba mimhanzi, kwete chete manotsi.
Jukebox inogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau.
Deep Dive
Yakaburitswa na OpenAI muna Kubvumbi 2020, Jukebox inogadzira mimhanzi seyakaomeswa kwete manotsi ekufananidzira, zvichireva kuti inoburitsa ruzha chairwo kusanganisira mazwi. Yakadzidziswa panziyo dzinosvika miriyoni 1.2 (dzinosvika hafu yemutauro wechiRungu) dzakabviswa pawebhu, dzakabatanidzwa nemazwi uye metadata kubva kuLyricWiki. Unogona kuimisa pamhando, dhizaini, uye mazwi, uye inoimba zvinozivikanwa (kana zvisingaite) semuimbi uyu. Kubuda kunomhanya maminetsi akati wandei. Kubata ndiko kukurumidza uye kuvimbika: chizvarwa chainonoka zvakanyanya, chichitora maawa mapfumbamwe kupa miniti imwe chete yekuteerera, uye mhedzisiro ine muffled, ruzha mhando. Jukebox yaive yekutsvagisa, kwete chigadzirwa chakakwenenzverwa, asi yakagadzirisa tarisiro yezvaigoneka.
Technical Insight
Jukebox inomanikidza mbishi odhiyo ichishandisa VQ-VAE autoencoders panguva nhatu zvigadziriso, ichishandura refu waveform kuita ipfupi kuteedzana kwe discrete macode. Autoregressive Transformers yobva yafanotaura aya makodhi imwe panguva, yakarongedzwa pane muimbi, genre, uye mazwi, uye upsamplers inowedzera yakakwirira-frequency ruzivo. Kudhirodha makodhi epasi-chikamu kudzoka kune 44.1 kHz waveform ndiko kunoita kuti chizvarwa chinonoke, nekuti mamirioni emasampureti ekuteerera anofanirwa kugadzirwa zvakatevedzana.
Kudzidza Jukebox
Jukebox ndeye OpenAI's 2020 neural network inogadzira mhanzi yakaomeswa - yakazara nemanzwi ekuimba, zviridzwa, uye kunyange mazwi muchimiro chevatambi chaivo. Hwaive humbowo hunoratidza kuti AI yaigona kutevedzera iyo chaiyo waveform yerwiyo-kureba mimhanzi, kwete chete manotsi. Jukebox inogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau. Kuti uvake kunzwisisa kwakadzama, bata Jukebox semuenzaniso wekushandisa, kwete chinhu chimwe chete: tsanangura zvinodikanwa, tsanangura fungidziro, uye patsanura izvo zvingaitwa nehurongwa hwakavimbika kubva kune zvichiri kuda kutonga kwenyanzvi.
Mukuita, zvikwata zvakasimba zvinoshandisa Jukebox zvinobata mhando, latency, uye mvumo sezvikamu zvakakosha zvakaenzana zvehurongwa hwekuendesa. Ivo vanonyora zvakajeka maitiro ebudiriro, bvunzo vachipokana ne data rechokwadi uye mafambiro ebasa, uye iterate zvichibva pane zvakacherechedzwa maitiro ekutadza kwete kuhwina-nguva imwe chete yebhenji. Apa ndipo apo kunzwisisa kwe theoretical kunoshanduka kuve kugona kwakasimba pane chigadzirwa, mutemo, uye mashandiro.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Panguva imwecheteyo, kusashandiswa kweIzwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo. Nzira yakatsiga ndeyekubatanidza kukurumidza kuyedza nekutonga: mhanyisa vatyairi vendege, tora humbowo, buritsa matanda esarudzo, uye urambe uchivandudza chengetedzo semaitiro emuenzaniso, zvinotarisirwa nemushandisi, uye zvinodikanwa zvekutonga.
Strategic Impact
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Real-World Implementation
Vatsvagiri vanodzidza kuti neural network inogona sei kutevedzera refu-fomu mbishi odhiyo uye kuimba manzwi, vachishandisa Jukebox sereferensi yekuvaka.
Vaimbi nevanoita zvekutamba vachigadzira zvinotyisa, lo-fi 'AI inovhara' inoimba mazwi matsva nemaitiro akaomarara emuimbi akasarudzwa.
Vadzidzisi vachiratidzira kusvetuka kubva kuMIDI-maitiro echinyorwa chizvarwa kusvika kuzere mbishi-odhiyo synthesis ine mazwi.
Vagadziri veruzha uye vanoedza maartist vanokohwa Jukebox yakasvibirira, yakaita seyekurota mameseji seyakabikwa yekumikisisa uye collage.
Maitiro Ekuita
Jukebox mukuita
Vatsvagiri vanodzidza kuti neural network inogona sei kutevedzera refu-fomu mbishi odhiyo uye kuimba manzwi, vachishandisa Jukebox sereferensi yekuvaka.
Vatsvagiri vari kudzidza kuti neural network inogona sei kutevedzera marefu-fomu akaomeswa uye manzwi ekuimba, vachishandisa Jukebox sereferensi yekuvaka Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye kukanganisa mutengo nekufamba kwenguva.
Jukebox mukuita
Vaimbi nevanoita zvekutamba vachigadzira zvinotyisa, lo-fi 'AI inovhara' inoimba mazwi matsva nemaitiro akaomarara emuimbi akasarudzwa.
Vaimbi nevanoita zvemitambo vanogadzira zvinotyisa, lo-fi 'AI inovhara' inoimba nziyo nyowani nenzira yakaoma yemuimbi akasarudzwa Matimu anowanzo kuwana mibairo iri nani kana achinge atsanangura zvikumbaridzo zvemhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye kukanganisa mutengo nekufamba kwenguva.
Jukebox mukuita
Vadzidzisi vachiratidzira kusvetuka kubva kuMIDI-maitiro echinyorwa chizvarwa kusvika kuzere mbishi-odhiyo synthesis ine mazwi.
Vadzidzisi vachiratidza kusvetuka kubva kuMIDI-maitiro echinyorwa chizvarwa kusvika kuzere mbishi-odhiyo synthesis ine mazwi Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Jukebox mukuita
Vagadziri veruzha uye vanoedza maartist vanokohwa Jukebox yakasvibirira, yakaita seyekurota mameseji seyakabikwa yekumikisisa uye collage.
Vagadziri veruzha uye vanoedza maartist vanocheka Jukebox's hazy, senge zviroto maumbirwo seyakabikwa yekumikisisa uye collage Matimu anowanzo kuwana mibairo iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Njodzi & Guardrails
Kusashandisa izwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo.
Kururama kunogona kudonha mumitauro, mataurirwo, kana nharaunda dzine ruzha.
Synthetic audio inogona kukanganisa kutaura kwechokwadi isina mavara akajeka.
Implementation Roadmap
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare.
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.