Usambazaji wa Spectrogram ya Riffusion
Riffusion ni udukuzi wa busara ambao hutengeneza muziki kwa kutibu sauti kama picha: husanikisha muundo wa picha ya Usambazaji Ulio thabiti ili kupaka spectrogramu, kisha kubadilisha picha hizo kuwa sauti.
Muhtasari
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
Dive ya kina
Riffusion, iliyotolewa mwishoni mwa 2022 na Seth Forsgren na Hayk Martiros, ilianza kama mradi wa hobby. Mbinu ya msingi: spectrogram ni picha ya 2D ambapo mhimili mlalo ni wakati, mhimili wima ni mzunguko, na mwangaza wa pikseli ni sauti kubwa. Kwa kuwa Usambazaji Imara tayari hutoa picha kutoka kwa vidokezo vya maandishi, watayarishi waliiweka vizuri kwa maelfu ya mifano ya maandishi ya spectrogram. Iagize kwa 'funky jazz bass' na inatoa kelele nasibu katika mwonekano wa sauti hiyo. Ili kutengeneza sauti inayoweza kuchezwa, Riffusion huendesha spectrogramu kupitia algoriti ya Griffin-Lim ambayo inaunda upya taarifa ya awamu inayokosekana. Kwa sababu uenezaji unaweza kuingiliana vizuri kati ya vidokezo, Riffusion pia inaweza kubadilisha mtindo mmoja hadi mwingine juu ya klipu inayoendelea, inayozunguka bila mshono.
Ufahamu wa Kiufundi
Riffusion hutumia tena bomba la uenezaji lililofichika bila kubadilika: U-Net huondoa kelele za Gaussian mara kwa mara kutoka kwa picha fiche iliyochochewa kwenye upachikaji wa maandishi wa CLIP. Kazi pekee mahususi ya kikoa ni uwakilishi wa spectrogramu (kiwango cha mel-scale, nguvu ya kumbukumbu) na uundaji upya wa awamu ya Griffin-Lim ambao hugeuza spectrogramu ya ukubwa iliyotabiriwa kuwa muundo wa wimbi. Awamu hutupwa wakati wa usimbaji, kwa hivyo ukadiriaji wa kurudia wa Griffin-Lim ndio chanzo kikuu cha sifa za vizalia vya 'maji'.
Athari za kimkakati
Kufikia na kufikia
Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
Cost and budget
Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
Kasi na kiwango
Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Mustakabali wa Usambazaji wa Spectrogram ya Riffusion
Riffusion ilithibitisha kuwa daraja la spectrogram-kama-picha linafanya kazi, na wazo hilo sasa linaishi ndani ya mifumo mikubwa ya sauti na kampuni ya Riffusion ikawa. Tarajia zana za siku zijazo kuchukua nafasi ya Griffin-Lim aliyepotea na kuweka vokoda za neural zilizojifunza kwa awamu safi, na kuchanganya uenezaji wa spectrogram na kodeki za sauti fiche. Somo pana, kwamba miundo ya picha inaweza kuelekezwa kwa mbinu mpya, inaendelea kuathiri jinsi watafiti wanavyoanzisha jenereta za sauti na video kutoka kwa uti wa mgongo uliofundishwa awali.
Utekelezaji wa Ulimwengu Halisi
Inazalisha nyimbo fupi za mandharinyuma za michezo ya video ya indie kutoka kwa haraka ya maandishi kama vile 'tense synthwave chase'
Kuunda vizuri kati ya mitindo miwili ya muziki, k.m. kuchanganya 'tropical house' kwenye 'lo-fi hip hop' kwenye klipu moja
Kutengeneza vitanda vya muziki vya mazingira bila malipo kwa video na podikasti za YouTube bila ada za leseni
Kuiga mawazo ya sauti au mdundo ambayo mwanamuziki hurekodi upya ipasavyo katika kituo cha kazi cha sauti cha dijitali.
Hatari & Walinzi
Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Ramani ya Utekelezaji
Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
Jaribu ubora kwenye spika na hali mbalimbali za usuli.
Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Vokoda ya Usambazaji wa DiffWave
Maswali yanayoulizwa mara kwa mara
What is Riffusion Spectrogram Diffusion?
Riffusion ni udukuzi wa busara ambao hutengeneza muziki kwa kutibu sauti kama picha: husanikisha muundo wa picha ya Usambazaji Ulio thabiti ili kupaka spectrogramu, kisha kubadilisha picha hizo kuwa sauti. Ni muhimu kwa sababu inaonyesha chombo kilichojengwa kwa njia moja (picha) inaweza kutoa nyingine (muziki) bila usanifu mpya.
Je, Riffusion alirekebisha muundo gani wa AI ili kutengeneza muziki?
Usambazaji Imara uliosanifiwa vizuri, muundo wa uenezaji wa picha, ili kutoa picha za spectrogram ambazo hubadilishwa kuwa sauti.
Je, spectrogram inawakilisha nini kwenye shoka zake mbili?
Katika spectrogram mhimili mlalo ni wakati, mhimili wima ni mzunguko, na mwangaza unawakilisha sauti kubwa.
Kwa nini Riffusion inahitaji algorithm kama Griffin-Lim?
Sspectrogram huhifadhi ukubwa lakini hutupilia mbali awamu, kwa hivyo Griffin-Lim anakadiria mara kwa mara awamu ili kuunda upya muundo wa mawimbi unaoweza kuchezwa.
Je, uenezaji unapeana uwezo gani wa Riffusion wakati wa kuchanganya vidokezo viwili?
Miundo ya usambaaji inaweza kuingiliana katika nafasi iliyofichika, ikiruhusu Riffusion ibadilike kutoka kwa mtindo mmoja wa muziki hadi mwingine.
Je, Riffusion iliundwaje awali na kutolewa?
Riffusion ilianza kama mradi wa hobby na Seth Forsgren na Hayk Martiros, iliyotolewa hadharani mwishoni mwa 2022.