Riffusion Spectrogram ስርጭት
Riffusion ድምፅን እንደ ስዕል በመመልከት ሙዚቃን የሚያመነጭ ብልህ ጠለፋ ነው፡ የStable Diffusion ምስል ሞዴልን ስፔክትሮግራሞችን ለመሳል በጥሩ ሁኔታ ያስተካክላል፣ ከዚያም እነዚያን ምስሎች ወደ ኦዲዮ ይቀይራል።
አጠቃላይ እይታ
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
ጥልቅ ዳይቭ
በ2022 መገባደጃ ላይ በሴት ፎርስግሬን እና በሃይክ ማርቲሮስ የተለቀቀው ሪፍዩሽን እንደ የትርፍ ጊዜ ማሳለፊያ ፕሮጀክት ጀመረ። ዋናው ብልሃቱ፡ ስፔክትሮግራም የ2ዲ ምስል ሲሆን አግድም ዘንግ ጊዜ ሲሆን ቋሚው ዘንግ ድግግሞሽ እና የፒክሰል ብሩህነት ከፍተኛ ድምጽ ነው። Stable Diffusion ምስሎችን ከጽሑፍ መጠየቂያዎች ስለሚያመነጭ፣ ፈጣሪዎቹ በሺዎች በሚቆጠሩ የተጣመሩ የስፔክትሮግራም-ጽሑፍ ምሳሌዎች ላይ በጥሩ ሁኔታ አስተካክለውታል። በ 'Funky jazz bass' ያዙሩት እና የዘፈቀደ ጫጫታ ወደ የዚያ ድምጽ ስፔክትሮግራም ውድቅ ያደርጋል። ሊጫወት የሚችል ኦዲዮ ለመስራት፣ Riffusion የጎደለውን የምዕራፍ መረጃ እንደገና በሚገነባው በ Griffin-Lim ስልተ ቀመር አማካኝነት ስፔክትሮግራሙን ያስኬዳል። ስርጭቱ በጥያቄዎች መካከል በተቃና ሁኔታ ሊጣመር ስለሚችል፣ Riffusion በተጨማሪም አንድን ዘይቤ በተከታታይ ክሊፕ ላይ ወደ ሌላ በመቀየር ያለምንም እንከን የለሽ ማዞር ይችላል።
ቴክኒካዊ ግንዛቤ
Riffusion ድብቅ የሆነ ስርጭት ቧንቧ መስመር ሳይለወጥ እንደገና ይጠቀማል፡ ዩ-ኔት በCLIP ጽሁፍ መክተት ላይ ከተሰራ ድብቅ ምስል ላይ የጋውስያን ድምጽ ደጋግሞ ያስወግዳል። ብቸኛው ጎራ-ተኮር ስራ የስፔክቶግራም ውክልና (ሜል-ሚዛን ፣ ሎግ ሃይል) እና የግሪፊን-ሊም ደረጃ መልሶ ግንባታ ሲሆን ይህም የተተነበየውን መጠን ስፔክትሮግራምን ወደ ሞገድ ቅርጽ ይለውጣል። ደረጃ ኢንኮዲንግ በሚደረግበት ጊዜ ይጣላል፣ ስለዚህ የግሪፊን-ሊም ተደጋጋሚ ግምት የ'የውሃ' ቅርሶች ዋነኛ ምንጭ ነው።
ስልታዊ ተጽእኖ
መድረስ እና መድረስ
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።
ወጪ እና በጀት
የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።
ፍጥነት እና ልኬት
ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።
የ Riffusion Spectrogram Diffusion የወደፊት
Riffusion የስፔክቶግራም-እንደ ምስል ድልድይ እንደሚሰራ አረጋግጧል፣ እና ያ ሀሳብ አሁን በትላልቅ የኦዲዮ ስርዓቶች ውስጥ ይኖራል እና ኩባንያው Riffusion ሆነ። የጠፋውን ግሪፊን-ሊምን ለተማሩ የነርቭ ቮኮደሮች ለጽዳት ደረጃ እና የስፔክትሮግራም ስርጭትን ከድብቅ ኦዲዮ ኮዴኮች ጋር ለማዋሃድ የወደፊት መሣሪያዎችን ይጠብቁ። ሰፋ ያለ ትምህርት፣ የምስል ሞዴሎች ወደ አዲስ ዘዴዎች ሊዘዋወሩ እንደሚችሉ፣ ተመራማሪዎች ኦዲዮ እና ቪዲዮ ጀነሬተሮችን አሁን ካሉት ቀድሞ የሰለጠኑ የጀርባ አጥንቶች እንዴት እንደሚጭኑ ተጽዕኖ ማሳደሩን ቀጥሏል።
የእውነተኛ-ዓለም አተገባበር
እንደ 'tse synthwave chase' ካሉ የጽሑፍ መጠየቂያ ለኢንዲ ቪዲዮ ጨዋታዎች አጫጭር ማዞሪያ ትራኮችን መፍጠር
በሁለት የሙዚቃ ስልቶች መካከል ያለችግር መሮጥ፣ ለምሳሌ በአንድ ክሊፕ ላይ 'tropical house'ን ወደ 'lo-fi hip hop' በማዋሃድ
ያለፍቃድ ክፍያ ከሮያሊቲ-ነጻ ድባብ ሙዚቃ አልጋዎችን ለYouTube ቪዲዮዎች እና ፖድካስቶች ማምረት
አንድ ሙዚቀኛ በዲጂታል የድምጽ መስሪያ ቦታ ላይ በትክክል የሚቀርጻቸውን ዜማ ወይም ምትሃታዊ ሀሳቦችን በፕሮቶታይፕ ማድረግ
አደጋዎች እና የጥበቃ መንገዶች
ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።
ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።
ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።
የትግበራ ፍኖተ ካርታ
ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።
በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።
አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።
ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
DiffWave ስርጭት Vocoder
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Riffusion Spectrogram Diffusion?
Riffusion ድምፅን እንደ ስዕል በመመልከት ሙዚቃን የሚያመነጭ ብልህ ጠለፋ ነው፡ የStable Diffusion ምስል ሞዴልን ስፔክትሮግራሞችን ለመሳል በጥሩ ሁኔታ ያስተካክላል፣ ከዚያም እነዚያን ምስሎች ወደ ኦዲዮ ይቀይራል። ለአንዱ መካከለኛ (ምስሎች) የተሰራ መሳሪያ ሌላ (ሙዚቃን) ማምረት እንደሚችል ስለሚያሳይ አስፈላጊ ነው ማለት ይቻላል ምንም አዲስ አርክቴክቸር የለም።
ምን ነባር AI ሞዴል Riffusion ሙዚቃን ለማመንጨት ጥሩ ማስተካከያ አድርጓል?
በሪፍፊሽን በጥሩ ሁኔታ የተስተካከለ የተረጋጋ ስርጭት፣ የምስል ስርጭት ሞዴል፣ ወደ ኦዲዮ የሚለወጡ የስፔክትሮግራም ምስሎችን ለመፍጠር።
ስፔክትሮግራም በሁለት መጥረቢያዎቹ ላይ ምን ይወክላል?
በስፔክትሮግራም ውስጥ አግድም ዘንግ ጊዜ ነው ፣ ቋሚው ዘንግ ድግግሞሽ ነው ፣ እና ብሩህነት ከፍተኛ ድምጽን ይወክላል።
ለምን Riffusion እንደ Griffin-Lim አልጎሪዝም ያስፈልገዋል?
ስፔክትሮግራም መጠኑን ያከማቻል ነገር ግን ደረጃን ያስወግዳል፣ ስለዚህ ግሪፊን-ሊም ሊጫወት የሚችል የሞገድ ቅርፅን እንደገና ለመገንባት ደረጃውን ደጋግሞ ይገምታል።
ሁለት መጠይቆችን በሚቀላቀሉበት ጊዜ ስርጭት ለ Riffusion ምን ችሎታ ይሰጣል?
የስርጭት ሞዴሎች በድብቅ ቦታ ውስጥ እርስ በርስ ሊጣመሩ ይችላሉ፣ ይህም Riffusion ያለማቋረጥ ከአንድ የሙዚቃ ዘይቤ ወደ ሌላው እንዲቀርጽ ያስችለዋል።
Riffusion በመጀመሪያ እንዴት ተፈጠረ እና ተለቀቀ?
በ2022 መገባደጃ ላይ በይፋ የተለቀቀው በሴት ፎርስግሬን እና በሃይክ ማርቲሮስ የትርፍ ጊዜ ማሳለፊያ ፕሮጀክት ሆኖ ሪፍሽን ጀመረ።