Noise2शोर भाषण संवर्धन

For speech enhancement it matters because clean recordings are expensive or impossible to obtain, yet noisy ones are everywhere.

2018 में NVIDIA शोधकर्ताओं द्वारा प्रस्तुत, Noise2Noise ने एक आश्चर्यजनक दावा किया: आप केवल दूषित उदाहरणों का उपयोग करके एक डिनोइज़र को प्रशिक्षित कर सकते हैं। अंतर्दृष्टि सांख्यिकीय है. यदि आप किसी नेटवर्क को एक ही अंतर्निहित सिग्नल के दो शोर संस्करण देते हैं और माध्य वर्ग त्रुटि जैसी हानि का उपयोग करके एक को दूसरे से मैप करने के लिए कहते हैं, तो नेटवर्क लक्ष्य में यादृच्छिक शोर की भविष्यवाणी नहीं कर सकता है, इसलिए सबसे अच्छा यह हो सकता है कि वह अपेक्षित मूल्य आउटपुट करे, जो कि स्वच्छ सिग्नल है। शोर औसत हो जाता है. भाषण पर लागू, आप एक साफ-सुथरा उच्चारण लेते हैं, दो स्वतंत्र शोर नमूने जोड़ते हैं, और दूसरे से एक शोर क्लिप की भविष्यवाणी करने के लिए मॉडल को प्रशिक्षित करते हैं। अनुमान के अनुसार मॉडल वास्तविक रिकॉर्डिंग से शोर को हटा देता है। यह पर्यवेक्षित निंदा की मुख्य बाधा को दूर करता है: पूरी तरह से साफ जमीनी सच्चाई वाले ऑडियो की आवश्यकता।