রিফিউশন স্পেকট্রোগ্রাম ডিফিউশন
রিফিউশন হল একটি চতুর হ্যাক যা একটি ছবি হিসাবে শব্দ ব্যবহার করে সঙ্গীত তৈরি করে: এটি স্পেকট্রোগ্রাম আঁকার জন্য স্থিতিশীল ডিফিউশন ইমেজ মডেলকে সূক্ষ্ম সুর করে, তারপর সেই ছবিগুলিকে আবার অডিওতে রূপান্তর করে।
ওভারভিউ
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
গভীর ডুব
রিফিউশন, 2022 সালের শেষের দিকে Seth Forsgren এবং Hayk Martiros দ্বারা প্রকাশিত, একটি শখের প্রকল্প হিসাবে শুরু হয়েছিল। মূল কৌশল: একটি স্পেকট্রোগ্রাম হল একটি 2D চিত্র যেখানে অনুভূমিক অক্ষ হল সময়, উল্লম্ব অক্ষ হল ফ্রিকোয়েন্সি এবং পিক্সেলের উজ্জ্বলতা হল লাউডনেস। যেহেতু স্টেবল ডিফিউশন ইতিমধ্যেই টেক্সট প্রম্পট থেকে ইমেজ তৈরি করে, নির্মাতারা এটিকে হাজার হাজার পেয়ার করা স্পেকট্রোগ্রাম-টেক্সট উদাহরণে সূক্ষ্ম-টিউন করেছেন। এটিকে 'ফাঙ্কি জ্যাজ বেস' দিয়ে প্রম্পট করুন এবং এটি সেই শব্দের একটি বর্ণালীগ্রামে এলোমেলো শব্দকে অস্বীকার করে। প্লেযোগ্য অডিও তৈরি করতে, রিফিউশন একটি গ্রিফিন-লিম অ্যালগরিদমের মাধ্যমে স্পেকট্রোগ্রাম চালায় যা অনুপস্থিত ফেজ তথ্য পুনর্গঠন করে। যেহেতু ডিফিউশন প্রম্পটগুলির মধ্যে মসৃণভাবে প্রসারিত করতে পারে, রিফিউশন একটি অবিচ্ছিন্ন ক্লিপের মাধ্যমে একটি স্টাইলকে অন্য স্টাইলকে রূপান্তর করতে পারে, নির্বিঘ্নে লুপ করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
রিফিউশন অপরিবর্তিত সুপ্ত ডিফিউশন পাইপলাইন পুনরায় ব্যবহার করে: একটি U-Net পুনরাবৃত্তিমূলকভাবে একটি CLIP টেক্সট এম্বেডিং-এ শর্তযুক্ত একটি সুপ্ত চিত্র থেকে গাউসিয়ান শব্দ সরিয়ে দেয়। একমাত্র ডোমেন-নির্দিষ্ট কাজ হল স্পেকট্রোগ্রাম উপস্থাপনা (মেল-স্কেল, লগ পাওয়ার) এবং গ্রিফিন-লিম ফেজ পুনর্গঠন যা পূর্বাভাসিত মাত্রার স্পেকট্রোগ্রামকে একটি তরঙ্গরূপে পরিণত করে। এনকোডিংয়ের সময় পর্যায়টি বাতিল করা হয়, তাই গ্রিফিন-লিমের পুনরাবৃত্তিমূলক অনুমান হল চরিত্রগত 'জলময়' শিল্পকর্মের মূল উৎস।
কৌশলগত প্রভাব
অ্যাক্সেস এবং পৌঁছানো
এটি ট্রান্সক্রিপশন, বর্ণনা এবং ভয়েস ইন্টারফেসের মাধ্যমে অ্যাক্সেসযোগ্যতা উন্নত করে।
খরচ ও বাজেট
মিডিয়া দলগুলি ছোট বাজেটের সাথে পালিশ করা অডিও দ্রুত পাঠাতে পারে।
গতি এবং স্কেল
গ্রাহক-মুখী সিস্টেমগুলি বৃহত্তর স্কেলে কথ্য মিথস্ক্রিয়া প্রক্রিয়া করতে পারে।
রিফিউশন স্পেকট্রোগ্রাম ডিফিউশনের ভবিষ্যত
রিফিউশন প্রমাণ করেছে যে স্পেকট্রোগ্রাম-এ-ইমেজ ব্রিজ কাজ করে, এবং সেই ধারণাটি এখন বৃহত্তর অডিও সিস্টেমের অভ্যন্তরে বাস করে এবং কোম্পানিটি হয়ে ওঠে রিফিউশন। ক্লিনার পর্যায়ের জন্য শেখা নিউরাল ভোকোডারগুলির সাথে ক্ষতিকারক গ্রিফিন-লিম প্রতিস্থাপন করার জন্য এবং সুপ্ত অডিও কোডেকগুলির সাথে স্পেকট্রোগ্রাম ডিফিউশনকে একত্রিত করার জন্য ভবিষ্যতের সরঞ্জামগুলি আশা করুন৷ বিস্তৃত পাঠ, যে চিত্র মডেলগুলিকে নতুন পদ্ধতিতে পুনঃনির্দেশিত করা যেতে পারে, গবেষকরা কীভাবে বিদ্যমান পূর্বপ্রশিক্ষিত ব্যাকবোনগুলি থেকে অডিও এবং ভিডিও জেনারেটর বুটস্ট্র্যাপ করেন তা প্রভাবিত করে।
বাস্তব-বিশ্ব বাস্তবায়ন
'টেনস সিন্থওয়েভ চেজ'-এর মতো টেক্সট প্রম্পট থেকে ইন্ডি ভিডিও গেমের জন্য ছোট লুপিং ব্যাকগ্রাউন্ড ট্র্যাক তৈরি করা
দুটি সঙ্গীত শৈলীর মধ্যে মসৃণভাবে রূপান্তর করা, যেমন একটি একক ক্লিপ জুড়ে 'লো-ফাই হিপ হপ'-এ 'ট্রপিকাল হাউস' মিশ্রিত করা
লাইসেন্স ফি ছাড়াই ইউটিউব ভিডিও এবং পডকাস্টের জন্য রয়্যালটি-মুক্ত পরিবেষ্টিত মিউজিক বেড তৈরি করা
সুরেলা বা ছন্দময় ধারনাগুলির প্রোটোটাইপিং যা একজন সঙ্গীতজ্ঞ তারপর একটি ডিজিটাল অডিও ওয়ার্কস্টেশনে সঠিকভাবে পুনরায় রেকর্ড করে
ঝুঁকি এবং প্রহরী
সম্মতি অনুপস্থিত হলে ভয়েস অপব্যবহার এবং ছদ্মবেশের ঝুঁকি বেড়ে যায়।
উচ্চারণ, উপভাষা বা কোলাহলপূর্ণ পরিবেশে যথার্থতা হ্রাস পেতে পারে।
সিন্থেটিক অডিও পরিষ্কার লেবেল ছাড়া খাঁটি বক্তৃতা হিসাবে ভুল হতে পারে।
বাস্তবায়ন রোডম্যাপ
ভয়েস ক্যাপচার, ক্লোনিং এবং পুনঃব্যবহারের জন্য সুস্পষ্ট সম্মতি পান।
বিভিন্ন স্পিকার এবং ব্যাকগ্রাউন্ড কন্ডিশন জুড়ে মান পরীক্ষা করুন।
কখন একজন মানুষকে আউটপুট পর্যালোচনা বা অনুমোদন করতে হবে তা নির্ধারণ করুন।
সিন্থেটিক অডিও লেবেল করুন এবং দায়বদ্ধতার জন্য মূল রেকর্ড রাখুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
ডিফওয়েভ ডিফিউশন ভোকোডার
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Riffusion Spectrogram Diffusion?
রিফিউশন হল একটি চতুর হ্যাক যা একটি ছবি হিসাবে শব্দ ব্যবহার করে সঙ্গীত তৈরি করে: এটি স্পেকট্রোগ্রাম আঁকার জন্য স্থিতিশীল ডিফিউশন ইমেজ মডেলকে সূক্ষ্ম সুর করে, তারপর সেই ছবিগুলিকে আবার অডিওতে রূপান্তর করে। এটি গুরুত্বপূর্ণ কারণ এটি একটি মাধ্যম (ছবি) জন্য নির্মিত একটি টুল দেখায় যা প্রায় কোনও নতুন আর্কিটেকচার ছাড়াই অন্যটি (সঙ্গীত) তৈরি করতে পারে।
কোন বিদ্যমান এআই মডেলটি মিউজিক জেনারেট করতে রিফিউশন ফাইন-টিউন করেছে?
রিফিউশন ফাইন-টিউনড স্টেবল ডিফিউশন, একটি ইমেজ ডিফিউশন মডেল, স্পেকট্রোগ্রাম ইমেজ তৈরি করতে যা অডিওতে রূপান্তরিত হয়।
একটি বর্ণালীগ্রাম তার দুটি অক্ষের উপর কী উপস্থাপন করে?
একটি বর্ণালীগ্রামে অনুভূমিক অক্ষ হল সময়, উল্লম্ব অক্ষ হল ফ্রিকোয়েন্সি, এবং উজ্জ্বলতা উচ্চতার প্রতিনিধিত্ব করে।
কেন রিফিউশনের গ্রিফিন-লিমের মতো একটি অ্যালগরিদম প্রয়োজন?
স্পেকট্রোগ্রাম মাত্রা সঞ্চয় করে কিন্তু ফেজ বাতিল করে, তাই গ্রিফিন-লিম পুনরাবৃত্তিমূলকভাবে একটি খেলার যোগ্য তরঙ্গরূপ পুনর্নির্মাণের জন্য ফেজ অনুমান করে।
দুটি প্রম্পট মিশ্রিত করার সময় ডিফিউশন রিফিউশনকে কী ক্ষমতা দেয়?
ডিফিউশন মডেলগুলি সুপ্ত স্থানে প্রসারিত করতে পারে, রিফিউশনকে একটি বাদ্যযন্ত্রের শৈলী থেকে অন্যটিতে ক্রমাগত রূপ দিতে দেয়।
কিভাবে রিফিউশন মূলত তৈরি এবং প্রকাশ করা হয়েছিল?
2022 সালের শেষের দিকে প্রকাশ্যে প্রকাশিত সেথ ফরসগ্রেন এবং হাইক মার্টিরোসের একটি শখের প্রকল্প হিসাবে রিফিউশন শুরু হয়েছিল।