साउंडस्ट्रीम न्यूरल कोडेक

साउंडस्ट्रीम Google का एंड-टू-एंड न्यूरल ऑडियो कोडेक है जो गुणवत्ता को संरक्षित करते हुए भाषण और संगीत को बेहद कम बिटरेट पर संपीड़ित करता है। यह मायने रखता है क्योंकि यह ओपस जैसे पारंपरिक कोडेक्स को समान बिटरेट पर मात देता है और आधुनिक जेनरेटिव ऑडियो मॉडल को शक्ति प्रदान करता है।

Google द्वारा 2021 में पेश किया गया, साउंडस्ट्रीम एक पूरी तरह से न्यूरल कोडेक है जिसे एक साथ प्रशिक्षित तीन टुकड़ों से बनाया गया है: एक कनवल्शनल एनकोडर जो कच्चे तरंग को वैक्टर के एक कॉम्पैक्ट अनुक्रम में बदल देता है, एक अवशिष्ट वेक्टर क्वांटाइज़र (आरवीक्यू) जो उन वैक्टर को अलग करता है, और एक कनवल्शनल डिकोडर जो तरंग को फिर से बनाता है। इसे पुनर्निर्माण हानियों और GAN-शैली प्रतिकूल विभेदक दोनों के साथ प्रशिक्षित किया गया है, इसलिए आउटपुट केवल संख्यात्मक रूप से बंद होने के बजाय स्वाभाविक लगता है। एक असाधारण विशेषता 'स्केलेबल' या क्वांटाइज़र-ड्रॉपआउट प्रशिक्षण है: एक एकल मॉडल अनुमान के समय अधिक या कम क्वांटाइज़र परतों का उपयोग करके लगभग 3 से 18 केबीपीएस तक बिटरेट पर काम कर सकता है, बिना किसी पुनर्प्रशिक्षण के। 3 केबीपीएस पर यह कथित तौर पर एक मॉडल में सुनने के परीक्षण, भाषण, संगीत और सामान्य ऑडियो को संभालने में 12 केबीपीएस पर ओपस से बेहतर प्रदर्शन करता है जो स्मार्टफोन सीपीयू पर वास्तविक समय में चल सकता है।