HAGAHA Audio AI

Codka-dhaliyaha MelGAN

MelGAN waa cod-qaade ku salaysan GAN oo si buuxda u kontoroolida kaasoo u beddela mel-spectrograms qaab-muqaalo maqal ah oo cayriin ah hal baas hore oo degdeg ah.

Dulmar

MelGAN waa cod-qaade ku salaysan GAN oo si buuxda u kontoroolida kaasoo u beddela mel-spectrograms qaab-muqaalo maqal ah oo cayriin ah hal baas hore oo degdeg ah. Waxay ahayd arrin sababtoo ah waxay caddaysay tayada sare leh, ereyada hadalka aan toos ahayn waxay ku socon kartaa boqollaal jeer ka dhaqso badan waqtiga dhabta ah ee GPU.

MelGAN Generative Vocoder wuxuu ku fadhiyaa qulqulka shaqada maqalka-AI kaas oo beddela hadalka, muusiga, iyo codka isgaarsiinta, gelitaanka, iyo soosaarka warbaahinta.

quusitaanka qoto dheer

MelGAN, oo uu soo bandhigay Kumar et al. sanadka 2019, waxa ay soo saartaa maqal la'aanteed gaabiska muunad-tusaale loop isticmaalo WaveNet. Koronto-dhaliyeheedu waa isku-dhafan isku-dhafan oo kor u qaadaya mel-spectrogram (sida caadiga ah 80 xargaha soo noqnoqda) ilaa heerka muunadda maqalka, oo leh baloogyada haraaga ah ee isticmaalaya is-afgaranwaa fidsan si loo ballaariyo goobta soo-dhowaynta. Hal-abuurka muhiimka ah waxa uu ahaa tababbarka takoorayaal badan oo ku shaqeeya cabbirro maqal oo kala duwan (waveform-kii asalka ahaa oo lagu daray noocyo hoos loo dhigay), mid kastaa wuxuu eegayaa daaqadaha is dulsaaran. Khasaare isbarbar-dhigaa wuxuu isbarbar dhigayaa dhaq-dhaqaaqyada takoorka ee u dhexeeya maqalka dhabta ah iyo kuwa been abuurka ah, xasilinta tababarka GAN. Qaabku waa mid aad u yar marka loo eego halbeegyada maqalka neural-ka wuxuuna ku shaqeeyaa si ka dhakhso badan wakhtiga dhabta ah xitaa CPU, taasoo ka dhigaysa mid wax ku ool u ah qoraalka-ku-hadalka-qalabka.

Aragtida Farsamada

Takoorka cabbirka badan ee MelGAN wuxuu adeegsadaa saddex shabakadood oo isku mid ah oo eegaya codka dhammaystiran, nus, iyo xallin rubuc, qaab-dhismeedka kasta oo soo noqnoqda oo kala duwan. Muhiimad ahaan, MelGAN waxay ku tiirsan tahay luminta sifada u dhiganta ( masaafada L1 ee udhaxaysa maabka muuqaalka midabtakoor ee maqalka dhabta ah vs. codka la sameeyay) halkii ay ka ahaan lahayd khasaare dib-u-dhis ah oo muuqaal ah, kaas oo ku dhiirigeliya koronto-dhaliye inuu u dhigmo lakabka tirakoobka maqalka dhabta ah.

Aqoonta MelGAN Hal-abuurka Vocoder

MelGAN waa cod-qaade ku salaysan GAN oo si buuxda u kontoroolida kaasoo u beddela mel-spectrograms qaab-muqaalo maqal ah oo cayriin ah hal baas hore oo degdeg ah. Waxay ahayd arrin sababtoo ah waxay caddaysay tayada sare leh, ereyada hadalka aan toos ahayn waxay ku socon kartaa boqollaal jeer ka dhaqso badan waqtiga dhabta ah ee GPU. MelGAN Generative Vocoder wuxuu ku fadhiyaa qulqulka shaqada maqalka-AI kaas oo beddela hadalka, muusiga, iyo codka isgaarsiinta, gelitaanka, iyo soosaarka warbaahinta. Si loo dhiso faham qoto dheer, ula dhaqan MelGAN Generative Vocoder qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa weli u baahan go'aan khabiir.

Ficil ahaan, kooxaha xoogga leh ee isticmaalaya MelGAN Generative Vocoder waxay ula dhaqmaan tayada, daahitaanka, iyo oggolaanshaha sida qaybo isku mid ah oo muhiim ah oo ka mid ah istiraatiijiyadda dirida. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.

Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod. Isla mar ahaantaana, si xun u isticmaalka codka iyo khataraha is-yeelyeelku way kordhaan marka oggolaanshaha la waayo. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.

Saamaynta Istiraatijiyadeed

Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod.

Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.

Kooxaha warbaahintu waxay ku soo rari karaan codka sifaysan si degdeg ah iyagoo wata miisaaniyado yaryar.

Kooxaha warbaahintu waxay ku soo rari karaan codka sifaysan si degdeg ah iyagoo wata miisaaniyado yaryar. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.

Nidaamyada u jeedda macmiisha waxay ka baaraandegi karaan isdhexgalka hadalka si weyn.

Nidaamyada u jeedda macmiisha waxay ka baaraandegi karaan isdhexgalka hadalka si weyn. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.

Mustaqbalka MelGAN Generative Vocoder

MelGAN wuxuu dhalay qoyska GAN vocoders. Ku-xigeenadoodii, HiFi-GAN iyo UnivNet, waxay xajiyeen habka degdega ah ee aan madaxbannaanida lahayn, laakiin waxay ku dareen dhowr-xilliyeed iyo kala-soocayaal xallinta badan ee nadiifinta soo noqnoqoshada sare. Nashqaddu waxay ku dhex nooshahay aaladda iyo qulqulka TTS halkaas oo latency iyo qaabka cabbirka cabbirka, iyo fikradihiisa takooriddu ay sii wadaan inay saameeyaan codecs neural codecs iyo hababka jiilka muusigga halkaasoo tababarka iska soo horjeeda ay hagaajiso tayada garashada.

Dhaqangelinta Adduunka-dhabta ah

Qoraal-ku-hadalka-qalabka ee kaaliyeyaasha mobaylka halkaas oo cod-yaqaan yar oo degdeg ah uu ka fogaado safarrada wareega ee daruuraha

Dhuumaha beddelka codka ee waqtiga-dhabta ah ee u beddela mel-spectrogram kan hadlaya cod bartilmaameed leh

Qalabka ciyaarta iyo animation-ka ee soo saara wada-hadalka dabeecadda ee ka yimaadda spectrogram-yada la soo saaray ee leh daahitaannimo hoose

Saldhigyada cilmi-baarista ee GAN-yada maqalka ah, halkaas oo lumitaanka qaab-dhismeedka MelGAN dib loogu isticmaalo muusiga iyo jiilka saamaynta codka

Hababka Dhaqangelinta

MelGAN Generative Vocoder ficil ahaan

Qoraal-ku-hadalka-qalabka ee kaaliyeyaasha mobaylka halkaas oo cod-bixiye yar oo degdeg ah uu ka fogaado safarrada wareega ee daruuraha.

Qoraal-ku-hadalka-qalabka ee kaaliyeyaasha moobiilka halkaas oo cod-bixiye yar oo degdeg ah uu ka fogaado safarrada wareega ee daruuriga ah Kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.

MelGAN Generative Vocoder ficil ahaan

Dhuumaha beddelka codka ee waqtiga-dhabta ah ee u beddela mel-spectrogram kan hadlaya cod bartilmaameed leh.

Tuubbooyinka beddelka codka waqtiga-dhabta ah ee u beddela mel-spectrogram-ka-hadalka una beddela codka bartilmaameedka ah Kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.

MelGAN Generative Vocoder ficil ahaan

Qalabka ciyaarta iyo animation-ka ee soo saara wada-hadalka dabeecadda ee ka yimaadda spectrogram-yada la soo saaray ee leh daahitaannimo hoose.

Qalabka ciyaarta iyo animation-ka ee soo saara wada-hadalka dabeecadda ee ka soo baxa spectrogram-yada la soo saaray ee leh kooxaha daahitaanka hooseeya waxay caadi ahaan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.

MelGAN Generative Vocoder ficil ahaan

Saldhigyada cilmi-baarista ee GAN-yada maqalka ah, halkaas oo lumitaanka qaab-dhismeedka MelGAN dib loogu isticmaalo muusiga iyo jiilka saamaynta dhawaaqa.

Saldhigyada cilmi-baarista ee GAN-yada maqalka ah, halkaas oo luminta is-waafajinta muuqaalka MelGAN dib loogu isticmaalo muusiga iyo kooxuhu saamaynta dhawaaqa sida caadiga ah waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.

Khatarta & Dariiqyada Ilaalada

!

Si xun u isticmaalka codka iyo khataraha is-yeelyeelku way kordhaan marka oggolaanshaha la waayo.

!

Saxnimadu waxay hoos ugu dhici kartaa lahjadaha, lahjadaha, ama jawiga buuqa badan.

!

Maqalka synthetic waxaa lagu khaldi karaa hadal dhab ah iyada oo aan si cad loo calaamadin.

Qorshe Hawleedka Dhaqangelinta

1

Hel ogolaansho cad oo ku saabsan qabashada codka, xidhitaanka, iyo dib u isticmaalka

Hel ogolaansho cad oo ku saabsan qabashada codka, xidhitaanka, iyo dib u isticmaalka Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

2

Tijaabi tayada ku hadasha kala duwan iyo xaaladaha asalka.

Tijaabi tayada ku hadasha kala duwan iyo xaaladaha asalka. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

3

Qeex marka bani'aadamku ay tahay inuu dib u eego ama oggolaado wax soo saarka.

Qeex marka bani'aadamku ay tahay inuu dib u eego ama oggolaado wax soo saarka. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

4

Ku calaamadee codka synthetic oo xafid diiwaannada la-xisaabtanka.

Ku calaamadee codka synthetic oo xafid diiwaannada la-xisaabtanka. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

Sii wad Sahaminta