ریفیوژن سپیکٹروگرام بازی
Riffusion ایک چالاک ہیک ہے جو آواز کو تصویر کے طور پر دیکھ کر موسیقی تیار کرتا ہے: یہ اسپیکٹروگرامس کو پینٹ کرنے کے لیے اسٹیبل ڈفیوژن امیج ماڈل کو ٹھیک بناتا ہے، پھر ان تصاویر کو آڈیو میں تبدیل کرتا ہے۔
جائزہ
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
گہرا غوطہ
Riffusion، جو 2022 کے آخر میں Seth Forsgren اور Hayk Martiros کے ذریعے جاری کیا گیا، ایک شوق کے منصوبے کے طور پر شروع ہوا۔ بنیادی چال: سپیکٹروگرام ایک 2D امیج ہے جہاں افقی محور وقت ہے، عمودی محور فریکوئنسی ہے، اور پکسل کی چمک بلندی ہے۔ چونکہ Stable Diffusion پہلے سے ہی ٹیکسٹ پرامپٹس سے تصاویر تیار کرتا ہے، اس لیے تخلیق کاروں نے اسے ہزاروں جوڑی والے اسپیکٹروگرام-ٹیکسٹ مثالوں پر ٹھیک بنایا ہے۔ اسے 'فنکی جاز باس' کے ساتھ اشارہ کریں اور یہ اس آواز کے سپیکٹروگرام میں بے ترتیب شور کو مسترد کرتا ہے۔ چلانے کے قابل آڈیو بنانے کے لیے، Riffusion ایک Griffin-Lim الگورتھم کے ذریعے سپیکٹروگرام چلاتا ہے جو گمشدہ مرحلے کی معلومات کو دوبارہ تشکیل دیتا ہے۔ چونکہ پھیلاؤ اشارے کے درمیان آسانی سے مداخلت کر سکتا ہے، Riffusion بغیر کسی رکاوٹ کے لوپ کرتے ہوئے، مسلسل کلپ پر ایک انداز کو دوسرے انداز میں ڈھال سکتا ہے۔
تکنیکی بصیرت
Riffusion بغیر کسی تبدیلی کے اویکت پھیلاؤ پائپ لائن کو دوبارہ استعمال کرتا ہے: ایک U-Net تکراری طور پر CLIP ٹیکسٹ ایمبیڈنگ پر مشروط ایک اویکت تصویر سے گاوسی شور کو ہٹاتا ہے۔ صرف ڈومین کے لیے مخصوص کام سپیکٹروگرام کی نمائندگی (میل اسکیل، لاگ پاور) اور گریفن لم فیز ری کنسٹرکشن ہے جو پیش گوئی کی گئی میگنیٹیوڈ سپیکٹروگرام کو ایک لہر کی شکل میں بدل دیتا ہے۔ انکوڈنگ کے دوران فیز کو ضائع کر دیا جاتا ہے، اس لیے گریفن-لیم کا تکراری تخمینہ خصوصیت والے 'پانی' کے نمونے کا بنیادی ذریعہ ہے۔
اسٹریٹجک اثر
رسائی اور رسائی
یہ نقل، بیان اور صوتی انٹرفیس کے ذریعے رسائی کو بہتر بناتا ہے۔
لاگت اور بجٹ
میڈیا ٹیمیں چھوٹے بجٹ کے ساتھ پالش آڈیو کو تیزی سے بھیج سکتی ہیں۔
رفتار اور پیمانہ
کسٹمر کا سامنا کرنے والے نظام بڑے پیمانے پر بولی جانے والی بات چیت پر کارروائی کر سکتے ہیں۔
ریفیوژن سپیکٹروگرام ڈفیوژن کا مستقبل
Riffusion نے ثابت کیا کہ اسپیکٹروگرام کے طور پر-تصویری پل کام کرتا ہے، اور یہ خیال اب بڑے آڈیو سسٹم کے اندر زندہ ہے اور کمپنی Riffusion بن گئی۔ امید ہے کہ مستقبل کے ٹولز نقصان دہ Griffin-Lim کو کلینر فیز کے لیے سیکھے ہوئے نیورل ووکوڈرز کے ساتھ تبدیل کریں گے، اور لیٹنٹ آڈیو کوڈیکس کے ساتھ سپیکٹروگرام ڈفیوژن کو جوڑیں گے۔ وسیع تر سبق، کہ تصویری ماڈلز کو نئے طریقوں کی طرف ری ڈائریکٹ کیا جا سکتا ہے، اس بات پر اثرانداز ہوتا ہے کہ محققین موجودہ پہلے سے تربیت یافتہ کمر کی ہڈیوں سے آڈیو اور ویڈیو جنریٹرز کو کیسے بوٹسٹریپ کرتے ہیں۔
حقیقی دنیا کا نفاذ
انڈی ویڈیو گیمز کے لیے مختصر لوپنگ بیک گراؤنڈ ٹریک تیار کرنا جیسے 'تناؤ سنتھ ویو چیس' جیسے ٹیکسٹ پرامپٹ سے
دو میوزیکل اسلوب کے درمیان آسانی سے مورف کرنا، جیسے ایک ہی کلپ میں 'ٹرپیکل ہاؤس' کو 'لو فائی ہپ ہاپ' میں ملانا
لائسنسنگ فیس کے بغیر یوٹیوب ویڈیوز اور پوڈکاسٹس کے لیے رائلٹی فری ایمبیئنٹ میوزک بیڈز تیار کرنا
پروٹوٹائپنگ میلوڈک یا تال کے خیالات جو ایک موسیقار پھر ڈیجیٹل آڈیو ورک سٹیشن میں صحیح طریقے سے دوبارہ ریکارڈ کرتا ہے
خطرات اور گارڈریلز
رضامندی غائب ہونے پر آواز کے غلط استعمال اور نقالی کے خطرات بڑھ جاتے ہیں۔
درستگی لہجوں، بولیوں، یا شور والے ماحول میں گر سکتی ہے۔
واضح لیبلنگ کے بغیر مصنوعی آڈیو کو مستند تقریر کے لیے غلط سمجھا جا سکتا ہے۔
نفاذ کا روڈ میپ
آواز کی گرفتاری، کلوننگ اور دوبارہ استعمال کے لیے واضح رضامندی حاصل کریں۔
متنوع اسپیکرز اور پس منظر کے حالات میں معیار کی جانچ کریں۔
وضاحت کریں کہ جب ایک انسان کو آؤٹ پٹس کا جائزہ لینا یا منظور کرنا ضروری ہے۔
مصنوعی آڈیو کو لیبل کریں اور جوابدہی کے لیے پرووینس ریکارڈ رکھیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
ڈف ویو ڈفیوژن ووکوڈر
اکثر پوچھے گئے سوالات
What is Riffusion Spectrogram Diffusion?
Riffusion ایک چالاک ہیک ہے جو آواز کو تصویر کے طور پر دیکھ کر موسیقی تیار کرتا ہے: یہ اسپیکٹروگرامس کو پینٹ کرنے کے لیے اسٹیبل ڈفیوژن امیج ماڈل کو ٹھیک بناتا ہے، پھر ان تصاویر کو آڈیو میں تبدیل کرتا ہے۔ یہ اہمیت رکھتا ہے کیونکہ یہ دکھاتا ہے کہ ایک میڈیم (تصاویر) کے لیے بنایا گیا ٹول دوسرا (موسیقی) بنا سکتا ہے جس میں تقریباً کوئی نیا فن تعمیر نہیں ہے۔
موسیقی پیدا کرنے کے لیے رائفوژن نے کون سے موجودہ AI ماڈل کو ٹھیک بنایا؟
ریفیوژن فائن ٹیونڈ اسٹیبل ڈفیوژن، ایک امیج ڈفیوژن ماڈل، اسپیکٹروگرام امیجز بنانے کے لیے جو پھر آڈیو میں تبدیل ہو جاتی ہیں۔
ایک سپیکٹروگرام اپنے دو محوروں پر کیا نمائندگی کرتا ہے؟
سپیکٹروگرام میں افقی محور وقت ہے، عمودی محور تعدد ہے، اور چمک بلندی کی نمائندگی کرتی ہے۔
Riffusion کو Griffin-Lim جیسے الگورتھم کی ضرورت کیوں ہے؟
سپیکٹروگرام طول و عرض کو ذخیرہ کرتا ہے لیکن مرحلے کو مسترد کرتا ہے، لہذا گرفن-لیم تکراری طور پر ایک پلے ایبل ویوفارم کو دوبارہ بنانے کے لیے مرحلے کا تخمینہ لگاتا ہے۔
جب دو اشارے ملایا جائے تو پھیلاؤ Riffusion کو کیا صلاحیت دیتا ہے؟
ڈفیوژن ماڈل اویکت جگہ میں گڑبڑ کر سکتے ہیں، ایک میوزیکل سٹائل سے دوسرے میں ریفیوژن کی شکل کو مسلسل رہنے دیتے ہیں۔
Riffusion اصل میں کیسے بنایا اور جاری کیا گیا؟
Riffusion کا آغاز سیٹھ فورسگرین اور ہائیک مارٹیروس کے شوق کے منصوبے کے طور پر ہوا، جسے 2022 کے آخر میں عوامی طور پر جاری کیا گیا۔