यूनीवनेट मल्टी-रिज़ॉल्यूशन वोकोडर

UnivNet एक GAN वोकोडर है जो उच्च-आवृत्ति विवरण को तेज करते हुए विभिन्न STFT रिज़ॉल्यूशन पर गणना किए गए कई स्पेक्ट्रोग्राम का उपयोग करके ऑडियो उत्पन्न करता है। इसका लक्ष्य एक सार्वभौमिक वोकोडर बनना है जो अनदेखे स्पीकर और रिकॉर्डिंग स्थितियों को अच्छी तरह से सामान्यीकृत करता है।

यूनिवनेट, जंग एट अल द्वारा प्रस्तावित। 2021 में, GAN वोकोडर्स के लिए आम कमजोरी से निपटता है: दबी हुई या कलाकृतियों से भरी उच्च आवृत्तियाँ। इसका जनरेटर पूर्ण-बैंड मेल-स्पेक्ट्रोग्राम पर स्थित है और स्थान-परिवर्तनीय कनवल्शन (एलवीसी) का उपयोग करता है, जहां इनपुट सुविधाओं से कनवल्शन कर्नेल की भविष्यवाणी की जाती है ताकि फ़िल्टर स्थानीय सामग्री के अनुकूल हो सके। शीर्षक विचार मल्टी-रिज़ॉल्यूशन स्पेक्ट्रोग्राम डिस्क्रिमिनेटर (एमआरएसडी) है: केवल कच्चे तरंगरूप का न्याय करने के बजाय, यूनीवनेट विभिन्न विंडो और हॉप आकारों के साथ कई एसटीएफटी की गणना करता है और उन स्पेक्ट्रोग्राम परिमाणों पर भेदभावकर्ता चलाता है। यह जनरेटर को बारीक वर्णक्रमीय विवरण और व्यापक अस्थायी संरचना दोनों को सही करने के लिए प्रेरित करता है। कई वक्ताओं पर प्रशिक्षित, यूनीवनेट उन आवाज़ों के लिए प्राकृतिक भाषण तैयार करता है जिन्हें उसने प्रशिक्षण के दौरान कभी नहीं देखा था, और अपना सार्वभौमिक लेबल अर्जित किया।