हाईफाई-जीएएन और जीएएन वोकोडर्स

HiFi-GAN एक जनरेटिव-एडवर्सेरियल वोकोडर है जो मेल-स्पेक्ट्रोग्राम को लगभग तुरंत ही कच्चे ऑडियो तरंग में बदल देता है, जिससे वास्तविक समय की तुलना में कहीं अधिक तेजी से स्टूडियो-गुणवत्ता वाला भाषण तैयार होता है। यह आधुनिक टेक्स्ट-टू-स्पीच का मानक अंतिम चरण बन गया क्योंकि यह तेज़, हल्का और वास्तविक रिकॉर्डिंग से अलग होना कठिन है।

वोकोडर अधिकांश टीटीएस पाइपलाइनों में अंतिम चरण है: टैकोट्रॉन या फास्टस्पीच जैसा मॉडल एक मेल-स्पेक्ट्रोग्राम (समय के साथ आवृत्ति की एक कॉम्पैक्ट तस्वीर) की भविष्यवाणी करता है, और वोकोडर वास्तविक तरंग रूप नमूनों को भरता है। वेवनेट जैसे शुरुआती न्यूरल वोकोडर बहुत अच्छे लगते थे लेकिन नमूना-दर-नमूना ऑडियो उत्पन्न करते थे, जिससे वे काफी धीमे हो जाते थे। 2020 में कोंग, किम और बे द्वारा जारी हाईफाई-जीएएन ने उस ऑटोरेग्रेसिव लूप को प्रतिकूल रूप से प्रशिक्षित एकल फीड-फॉरवर्ड जनरेटर से बदल दिया। इसकी मुख्य चाल कई विभेदकों का उपयोग करना है जो विभिन्न पैमानों पर और विभिन्न आवधिक पैटर्न पर ऑडियो का मूल्यांकन करते हैं, जिससे जनरेटर को ठीक बनावट और पिच आवधिकता दोनों को सही करने के लिए मजबूर किया जाता है। परिणाम 22 kHz भाषण है जो एक GPU पर वास्तविक समय की तुलना में सैकड़ों गुना तेजी से संश्लेषित होता है, गुणवत्ता प्रतिद्वंद्वी जमीनी सच्चाई ऑडियो के साथ।