डीडीएसपी विभेदक ऑडियो संश्लेषण

डीडीएसपी (डिफरेंशियल डिजिटल सिग्नल प्रोसेसिंग) क्लासिक सिंथेसाइज़र बिल्डिंग ब्लॉक्स को तंत्रिका नेटवर्क के साथ जोड़ता है, इसलिए गहन शिक्षण सीधे ऑसिलेटर और फिल्टर को नियंत्रित कर सकता है। यह छोटे मॉडलों और थोड़े डेटा के साथ आश्चर्यजनक रूप से प्राकृतिक, नियंत्रणीय वाद्ययंत्र ध्वनियाँ उत्पन्न करता है।

Google की मैजेंटा टीम द्वारा 2020 में पेश किया गया DDSP, तंत्रिका ऑडियो पीढ़ी पर पुनर्विचार करता है। एक नेटवर्क द्वारा एक समय में कच्चे ऑडियो नमूनों (जैसे वेवनेट) या स्पेक्ट्रोग्राम के पिक्सल की भविष्यवाणी करने के बजाय, डीडीएसपी पारंपरिक डीएसपी घटकों - एक हार्मोनिक एडिटिव ऑसिलेटर, एक फ़िल्टर्ड शोर जनरेटर और रीवरब - को अलग-अलग बनाता है। इसका मतलब है कि प्रशिक्षण के दौरान ग्रेडिएंट उनके माध्यम से प्रवाहित हो सकते हैं, इसलिए एक छोटा तंत्रिका नेटवर्क व्याख्या योग्य नियंत्रण संकेतों को आउटपुट करना सीखता है: मौलिक पिच, समग्र ज़ोर, और समय के साथ दर्जनों हार्मोनिक्स के आयाम। फिर एक सिंथेसाइज़र इन नियंत्रणों से वास्तविक ऑडियो प्रस्तुत करता है। चूँकि ध्वनि की भौतिकी खरोंच से सीखने के बजाय वास्तुकला में अंतर्निहित है, डीडीएसपी बहुत कम मापदंडों और प्रशिक्षण उदाहरणों के साथ उच्च गुणवत्ता प्राप्त करता है, और उपयोगकर्ताओं को स्वतंत्र रूप से पिच, ज़ोर और समय में हेरफेर करने देता है - यहां तक ​​​​कि समय हस्तांतरण भी करता है, जैसे गायन की आवाज़ को वायलिन के रूप में बजाना।