MusicLM: Calaamadaha Semantic Heerarchical iyo Acoustic
MusicLM waa Google qaab qoraal-mususi ah oo soo saara maqal qaab-dheer iyada oo loo marayo kala sareynta calaamadaha semantic ee qaab dhismeedka muusiga iyo calaamooyinka dhawaaqa ee tafatirka dhawaaqa.
quusid qoto dheer
Waxaa ku dhawaaqay Google Cilmi baaris horraantii 2023, MusicLM waxay qaabaysaa jiilka muusiga sida saadaalinta taxanaha maqalka calamada, si la mid ah qaabka luqaddu u saadaaliyo erayada. Waxay isticmaashaa kala sarreynta matalaadda: calaamadaha semantic (oo laga soo qaatay qaabka loo yaqaan w2v-BERT) waxay qabtaan qaab-dhismeed heer sare ah sida laxanka iyo laxanka dhererka dheer, halka calaamadaha dhawaaqa (ee SoundStream neural codec) ay qabtaan faahfaahin fiican sida timbre iyo texture. Marxaladda koowaad waxay soo saartaa calaamado semantic ah isla markiiba qoraalka, ka dib marxaladaha dambe waxay buuxiyaan tafaasiisha dhawaaqa ku xidhan shuruudahaas. Qaboojinta qoraalka waxa ay ka timaadaa MuLM/MuLan, oo ah qoraal-musik oo wadajir ah oo ku dhex-jira si sharraxaad ah iyo dhul maqal ah oo isku meel ah. Habkani waxa uu u ogolaanayaa MusicLM in ay si muusiko ah u joogto daqiiqado halkii ay ka wareegi lahayd dhawr ilbiriqsi ka dib.
Aragtida Farsamada
Fikradda ugu muhiimsan waa kala-goynta qaab-dhismeedka laga soo bilaabo texture guud ahaan kala sarreynta calaamadda. Calaamadaha semantic-ka ee aan fiicneyn waa kuwo yar oo tartiib tartiib ah, marka Transformer-ku waxa uu qaabayn karaa foomka muddada dheer iyada oo aan lahayn dherer isku xigxig weyn. Calaamadaha acoustic waa cufan oo heer sare ah, laakiin waxay u baahan yihiin oo kaliya in lagu saadaaliyo shuruudo ku saabsan semantics horeba loo hagaajiyay, taas oo ka dhigaysa marxalad kasta. SoundStream's residual vector quantization's waxay soo saartaa koodh dhawaaqeed ee lakabka ah kaas oo codeeyaha kama dambaysta ahi uu dib ugu noqdo 24 kHz waveforms.
Saamaynta Istiraatijiyadeed
Helitaanka iyo gaarsiinta
Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod.
Qiimaha iyo miisaaniyada
Kooxaha warbaahintu waxay ku soo rari karaan codka sifaysan si degdeg ah iyagoo wata miisaaniyado yaryar.
Xawaaraha iyo miisaanka
Nidaamyada u jeedda macmiisha waxay ka baaraandegi karaan isdhexgalka hadalka si weyn.
Mustaqbalka MusicLM: Calaamadaha Kala Sarreysa ee Semantic iyo Acoustic
Habka kala sareynta ee MusicLM waxa uu noqday hab-raac loogu talagalay nidaamyada dambe sida MusicGen iyo agabka muusigga ganacsiga. Filo qaboojinta laxanka oo adag (hum a tune, hel habayn buuxda), heeso si buuxda u habaysan oo dheer oo leh tuducyo iyo heeso, iyo xakamayn fiican oo ku saabsan qalabka iyo furaha. Arrimaha qodxaha leh ayaa ah sharci iyo anshax: siinta xogta tababarka, ogolaanshaha farshaxanka, iyo calaamadaynta maqalka la sameeyay si loo kala saaro muusigga bani'aadamku sameeyay ayaa hadda udub dhexaad u ah hawlgelinta.
Dhaqangelinta Adduunka-dhabta ah
U beddelashada sharraxaadda goobta qoran oo loo beddelo filim ama buundada goos gooska, tusaale. 'His Orchestral Epic with Choir'
Soo saarista muusiga asalka ah ee ku xidhan sawirka sawirka ama xitaa rinjiyeynta sharraxaadaha rakibaadda farshaxanka
Kordhinta laxan gaaban oo la tumay ama la foodhyay si loo habeeyo qalab dhamaystiran
Soo saarista heeso muusig oo kala duwan waqtiyo kala duwan iyo jawiyo xayaysiis iyo abuurayaal ka kooban
Khatarta & Dariiqyada Ilaalada
Si xun u isticmaalka codka iyo khataraha is-yeelyeelku way kordhaan marka oggolaanshaha la waayo.
Saxnimadu waxay hoos ugu dhici kartaa lahjadaha, lahjadaha, ama jawiga buuqa badan.
Maqalka synthetic waxaa lagu khaldi karaa hadal dhab ah iyada oo aan si cad loo calaamadin.
Qorshe Hawleedka Dhaqangelinta
Hel ogolaansho cad oo ku saabsan qabashada codka, xidhitaanka, iyo dib u isticmaalka
Tijaabi tayada ku hadasha kala duwan iyo xaaladaha asalka.
Qeex marka bani'aadamku ay tahay inuu dib u eego ama oggolaado wax soo saarka.
Ku calaamadee codka synthetic oo xafid diiwaannada la-xisaabtanka.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MusicLM: Hierarchical Semantic and Acoustic Tokens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Jiilka Muusiga Astaanta
Su'aalaha soo noqnoqda
What is MusicLM: Hierarchical Semantic and Acoustic Tokens?
MusicLM waa Google qaab qoraal-mususi ah oo soo saara maqal qaab-dheer iyada oo loo marayo kala sareynta calaamadaha semantic ee qaab dhismeedka muusiga iyo calaamooyinka dhawaaqa ee tafatirka dhawaaqa.
Sidee MusicLM u daaweeyaa asal ahaan hawsha soo saarista muusiga?
MusicLM waxay u qaabaysaa jiilka muusiga sidii saadaalin is-hortaag ah oo ku saabsan calaamadaha maqalka ee kala duwan, oo la mid ah sida qaabka luqaddu u saadaaliyo erayada.
Waa maxay doorka calaamadaha semantic ee MusicLM?
Calaamadaha Semantic (laga bilaabo w2v-BERT) waxay qabtaan qaab-dhismeed qunyar-socod ah sida laxanka iyo laxanka muddada dheer.
Qaybtee ayaa bixisa tafaasiisha dhawaaqa wanaagsan sida timbre iyo texture?
Calaamadaha acousticku waxay ka yimaaddaan koodka neerfaha ee SoundStream waxayna codeeyaan tafaasiisha wanaagsan sida timbre iyo texture.
Sidee MusicLM ugu xidhaa qoraalka degdega ah maqalka muusiga?
MuLan waxaa loo tababaray si ay u sharaxdo qoraalka iyo u dhigma khariidadda maqalka meelaha u dhow ee meel dhexda ah oo la wadaago, taasoo awood u siinaysa qaboojinta qoraalka.
Waa maxay sababta kala sarraynta, naqshadeynta marxaladda ay ka caawiso qaab-dhismeedka fog-dheer?
Calaamadaha semantic ee aadka u yar ayaa si tartiib ah isu beddela, marka Transformer-ku waxa uu u qaabayn karaa foomka muddada-dheer si hufan ka hor inta aan la buuxin tafaasiisha codka cufan.