ऑडियो एआई गाइड
डीडीएसपी विभेदक ऑडियो संश्लेषण
डीडीएसपी (डिफरेंशियल डिजिटल सिग्नल प्रोसेसिंग) क्लासिक सिंथेसाइज़र बिल्डिंग ब्लॉक्स को तंत्रिका नेटवर्क के साथ जोड़ता है, इसलिए गहन शिक्षण सीधे ऑसिलेटर और फिल्टर को नियंत्रित कर सकता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
यह छोटे मॉडल और कम डेटा के साथ आश्चर्यजनक रूप से प्राकृतिक, नियंत्रणीय उपकरण ध्वनियों का उत्पादन करता है।
गहरा गोता
Google की मैजेंटा टीम द्वारा 2020 में पेश किया गया DDSP, तंत्रिका ऑडियो पीढ़ी पर पुनर्विचार करता है। एक नेटवर्क द्वारा एक समय में कच्चे ऑडियो नमूनों (जैसे वेवनेट) या स्पेक्ट्रोग्राम के पिक्सल की भविष्यवाणी करने के बजाय, डीडीएसपी पारंपरिक डीएसपी घटकों - एक हार्मोनिक एडिटिव ऑसिलेटर, एक फ़िल्टर्ड शोर जनरेटर और रीवरब - को अलग-अलग बनाता है। इसका मतलब है कि प्रशिक्षण के दौरान ग्रेडिएंट उनके माध्यम से प्रवाहित हो सकते हैं, इसलिए एक छोटा तंत्रिका नेटवर्क व्याख्या योग्य नियंत्रण संकेतों को आउटपुट करना सीखता है: मौलिक पिच, समग्र ज़ोर, और समय के साथ दर्जनों हार्मोनिक्स के आयाम। फिर एक सिंथेसाइज़र इन नियंत्रणों से वास्तविक ऑडियो प्रस्तुत करता है। चूँकि ध्वनि की भौतिकी खरोंच से सीखने के बजाय वास्तुकला में अंतर्निहित है, डीडीएसपी बहुत कम मापदंडों और प्रशिक्षण उदाहरणों के साथ उच्च गुणवत्ता प्राप्त करता है, और उपयोगकर्ताओं को स्वतंत्र रूप से पिच, ज़ोर और समय में हेरफेर करने देता है - यहां तक कि समय हस्तांतरण भी करता है, जैसे गायन की आवाज़ को वायलिन के रूप में बजाना।
वास्तविक विश्व कार्यान्वयन
टिम्बर ट्रांसफर उपकरण जो गुनगुनाए गए या गाए गए राग को लेते हैं और इसे वास्तविक समय में वायलिन, बांसुरी या तुरही के रूप में पुनः प्रस्तुत करते हैं।
हल्के न्यूरल सिंथेसाइज़र प्लगइन्स जिन्हें संगीतकार सहज पिच, लाउडनेस और ब्राइटनेस नॉब्स के साथ नियंत्रित करते हैं।
प्राकृतिक हार्मोनिक विवरण को संरक्षित करते हुए रिकॉर्ड किए गए उपकरणों का पिच-सुधार और अभिव्यंजक पुनर्संश्लेषण।
ब्राउज़र-आधारित इंटरैक्टिव संगीत डेमो जो भारी जीपीयू मॉडल के बिना यथार्थवादी उपकरण ध्वनि उत्पन्न करते हैं।
डीडीएसपी डिफरेंशियल ऑडियो सिंथेसिस का भविष्य
डीडीएसपी वास्तविक समय, कम-विलंबता वाले तंत्रिका उपकरणों और ऑडियो प्रभावों पर जोर दे रहा है जो इन-ब्राउज़र और एम्बेडेड डिवाइसों सहित मामूली हार्डवेयर पर चलते हैं। इसके व्याख्या योग्य नियंत्रण इसे अभिव्यंजक प्रदर्शन उपकरण और हाइब्रिड सिंथेसाइज़र के लिए आदर्श बनाते हैं जहां संगीतकार सीधे लय डायल करते हैं। शोधकर्ता अलग-अलग-डीएसपी विचार को भौतिक मॉडलिंग, कक्ष ध्वनिकी और पूर्ण ऑडियो उत्पादन श्रृंखलाओं तक विस्तारित कर रहे हैं, संगीत निर्माण और ध्वनि डिजाइन में गहन सीखने के यथार्थवाद के साथ क्लासिक सिग्नल प्रोसेसिंग की नियंत्रणीयता को मिश्रित कर रहे हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- पहुंच और पहुंच. यह प्रतिलेखन, कथन और ध्वनि इंटरफेस के माध्यम से पहुंच में सुधार करता है।
- लागत और बजट. मीडिया टीमें छोटे बजट में बेहतर ऑडियो तेजी से भेज सकती हैं।
- गति और पैमाना. ग्राहक-सामना करने वाली प्रणालियाँ बड़े पैमाने पर बोली जाने वाली बातचीत को संसाधित कर सकती हैं।
का ध्यान रखें
- सहमति के अभाव में आवाज के दुरुपयोग और प्रतिरूपण के जोखिम बढ़ जाते हैं।
- उच्चारण, बोलियों या शोर भरे वातावरण में सटीकता कम हो सकती है।
- स्पष्ट लेबलिंग के बिना सिंथेटिक ऑडियो को प्रामाणिक भाषण समझने की भूल की जा सकती है।
अगले चरण
- वॉयस कैप्चर, क्लोनिंग और पुन: उपयोग के लिए स्पष्ट सहमति प्राप्त करें।
- विभिन्न वक्ताओं और पृष्ठभूमि स्थितियों में गुणवत्ता का परीक्षण करें।
- परिभाषित करें कि किसी इंसान को आउटपुट की समीक्षा या अनुमोदन कब करना चाहिए।
- जवाबदेही के लिए सिंथेटिक ऑडियो को लेबल करें और उद्गम रिकॉर्ड रखें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the DDSP Differentiable Audio Synthesis quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
डीडीएसपी डिफरेंसिएबल ऑडियो सिंथेसिस क्या है?
डीडीएसपी (डिफरेंशियल डिजिटल सिग्नल प्रोसेसिंग) क्लासिक सिंथेसाइज़र बिल्डिंग ब्लॉक्स को तंत्रिका नेटवर्क के साथ जोड़ता है, इसलिए गहन शिक्षण सीधे ऑसिलेटर और फिल्टर को नियंत्रित कर सकता है। यह छोटे मॉडलों और थोड़े डेटा के साथ आश्चर्यजनक रूप से प्राकृतिक, नियंत्रणीय वाद्ययंत्र ध्वनियाँ उत्पन्न करता है।
डीडीएसपी के पीछे प्रमुख नवाचार क्या है?
डीडीएसपी पारंपरिक सिंथेसाइज़र बिल्डिंग ब्लॉक्स को अलग-अलग मॉड्यूल में बदल देता है, जिससे तंत्रिका नेटवर्क को बैकप्रॉपैगेशन के माध्यम से उन्हें नियंत्रित करना सीखने में मदद मिलती है।
डीडीएसपी में, तंत्रिका नेटवर्क वास्तव में क्या आउटपुट करता है?
नेटवर्क समय-भिन्न नियंत्रण मापदंडों की भविष्यवाणी करता है, और एक अलग अलग सिंथेसाइज़र उनसे ऑडियो प्रस्तुत करता है - यह कभी भी सीधे नमूने आउटपुट नहीं करता है।
डीडीएसपी का वर्णक्रमीय सिंथेसाइज़र किन दो मुख्य ध्वनि उत्पन्न करने वाले घटकों को जोड़ता है?
एक हार्मोनिक एडिटिव ऑसिलेटर पिच, हार्मोनिक भाग का उत्पादन करता है जबकि फ़िल्टर किया गया शोर सांस और इनहार्मोनिक बनावट जोड़ता है।
डीडीएसपी अपेक्षाकृत छोटे मॉडल और कम डेटा के साथ उच्च गुणवत्ता क्यों प्राप्त कर सकता है?
क्योंकि ज्ञात सिग्नल-प्रोसेसिंग संरचना खरोंच से सीखी जाने के बजाय अंतर्निहित होती है, नेटवर्क में सीखने के लिए बहुत कम है, डेटा और पैरामीटर दक्षता में सुधार होता है।
उत्पन्न और लक्षित ऑडियो की मजबूती से तुलना करने के लिए डीडीएसपी किस हानि फ़ंक्शन का उपयोग करता है?
एकाधिक रिज़ॉल्यूशन पर परिमाण स्पेक्ट्रोग्राम की तुलना चरण अंतर के लिए मजबूत है, जिसके साथ नमूना-स्तर के नुकसान संघर्ष करते हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं