Noise2शोर भाषण संवर्धन

Noise2Noise एक प्रशिक्षण ट्रिक है जो एक मॉडल को एक ही सिग्नल के अलग-अलग-शोर वाले संस्करणों के जोड़े से सीखकर, एक साफ संदर्भ देखे बिना शोर को दूर करना सीखने देती है। वाक् वृद्धि के लिए यह महत्वपूर्ण है क्योंकि स्वच्छ रिकॉर्डिंग महंगी होती है या प्राप्त करना असंभव होता है, फिर भी शोर वाली रिकॉर्डिंग हर जगह होती हैं।

2018 में NVIDIA शोधकर्ताओं द्वारा प्रस्तुत, Noise2Noise ने एक आश्चर्यजनक दावा किया: आप केवल दूषित उदाहरणों का उपयोग करके एक डिनोइज़र को प्रशिक्षित कर सकते हैं। अंतर्दृष्टि सांख्यिकीय है. यदि आप किसी नेटवर्क को एक ही अंतर्निहित सिग्नल के दो शोर संस्करण देते हैं और माध्य वर्ग त्रुटि जैसी हानि का उपयोग करके एक को दूसरे से मैप करने के लिए कहते हैं, तो नेटवर्क लक्ष्य में यादृच्छिक शोर की भविष्यवाणी नहीं कर सकता है, इसलिए सबसे अच्छा यह हो सकता है कि वह अपेक्षित मूल्य आउटपुट करे, जो कि स्वच्छ सिग्नल है। शोर औसत हो जाता है. भाषण पर लागू, आप एक साफ-सुथरा उच्चारण लेते हैं, दो स्वतंत्र शोर नमूने जोड़ते हैं, और दूसरे से एक शोर क्लिप की भविष्यवाणी करने के लिए मॉडल को प्रशिक्षित करते हैं। अनुमान के अनुसार मॉडल वास्तविक रिकॉर्डिंग से शोर को हटा देता है। यह पर्यवेक्षित निंदा की मुख्य बाधा को दूर करता है: पूरी तरह से साफ जमीनी सच्चाई वाले ऑडियो की आवश्यकता।