ডিডিএসপি ডিফারেনশিয়াবল অডিও সংশ্লেষণ

ডিডিএসপি (ডিফারেনশিয়াবল ডিজিটাল সিগন্যাল প্রসেসিং) ক্লাসিক সিন্থেসাইজার বিল্ডিং ব্লকগুলিকে নিউরাল নেটওয়ার্কের সাথে ফিউজ করে, তাই গভীর শিক্ষা অসিলেটর এবং ফিল্টারগুলিকে সরাসরি নিয়ন্ত্রণ করতে পারে। এটি ক্ষুদ্র মডেল এবং সামান্য ডেটা সহ আকর্ষণীয়ভাবে প্রাকৃতিক, নিয়ন্ত্রণযোগ্য যন্ত্রের শব্দ তৈরি করে।

DDSP, 2020 সালে Google এর ম্যাজেন্টা টিম দ্বারা প্রবর্তিত, নিউরাল অডিও জেনারেশনের পুনর্বিবেচনা করে। একটি নেটওয়ার্ক (ওয়েভনেটের মতো) বা একটি স্পেকট্রোগ্রামের পিক্সেলের কাঁচা অডিও নমুনাগুলির পূর্বাভাস দেওয়ার পরিবর্তে, ডিডিএসপি প্রথাগত ডিএসপি উপাদানগুলি তৈরি করে — একটি সুরেলা সংযোজনকারী অসিলেটর, একটি ফিল্টার করা নয়েজ জেনারেটর এবং রিভার্ব — পার্থক্যযোগ্য। এর মানে হল প্রশিক্ষণের সময় গ্রেডিয়েন্টগুলি তাদের মাধ্যমে প্রবাহিত হতে পারে, তাই একটি ছোট নিউরাল নেটওয়ার্ক ব্যাখ্যাযোগ্য নিয়ন্ত্রণ সংকেত আউটপুট করতে শেখে: মৌলিক পিচ, সামগ্রিক উচ্চতা, এবং সময়ের সাথে কয়েক ডজন হারমোনিক্সের প্রশস্ততা। একটি সিন্থেসাইজার তারপর এই নিয়ন্ত্রণগুলি থেকে প্রকৃত অডিও রেন্ডার করে। যেহেতু শব্দের পদার্থবিদ্যা স্ক্র্যাচ থেকে শেখার পরিবর্তে আর্কিটেকচারের মধ্যে বেক করা হয়, তাই DDSP অনেক কম প্যারামিটার এবং প্রশিক্ষণের উদাহরণ সহ উচ্চ গুণমান অর্জন করে এবং ব্যবহারকারীদের স্বাধীনভাবে পিচ, লাউডনেস এবং টিমব্রেকে ম্যানিপুলেট করতে দেয় — এমনকি টিমব্রে ট্রান্সফারও করতে দেয়, যেমন বেহালা হিসেবে গান গাওয়া ভয়েস প্লে করা।