साउंडस्टॉर्म समानांतर ऑडियो जनरेशन

साउंडस्टॉर्म एक Google ऑडियो जेनरेशन मॉडल है जो एक समय में एक टोकन के बजाय समानांतर में भाषण और ध्वनि उत्पन्न करता है, जिससे उच्च गुणवत्ता वाला ऑडियो संश्लेषण नाटकीय रूप से तेज़ हो जाता है। यह मायने रखता है क्योंकि यह निष्ठा से समझौता किए बिना लंबी क्लिप के लिए पीढ़ी विलंबता को मिनटों से सेकंड तक कम कर देता है।

Google द्वारा 2023 में पेश किया गया साउंडस्टॉर्म, साउंडस्ट्रीम नामक एक तंत्रिका कोडेक से असतत ध्वनिक टोकन के रूप में प्रस्तुत ऑडियो उत्पन्न करता है। ऑडियोएलएम जैसे पहले के मॉडल इन टोकन को स्वचालित रूप से उत्पादित करते थे, प्रत्येक टोकन की अनुक्रम में भविष्यवाणी करते थे, जो लंबे ऑडियो के लिए धीमा है। इसके बजाय साउंडस्टॉर्म एक गैर-ऑटोरेग्रेसिव, मास्क-आधारित दृष्टिकोण का उपयोग करता है जो मास्कजीआईटी जैसे छवि निर्माण मॉडल से उधार लिया गया है। यह ज्यादातर नकाबपोश टोकन के साथ शुरू होता है और पुनरावृत्त रूप से उन्हें कुछ डिकोडिंग चरणों में भरता है, समानांतर में एक साथ कई टोकन की भविष्यवाणी करता है। सिमेंटिक टोकन (ऑडियोएलएम या स्पीयर-टीटीएस जैसे मॉडल से) पर आधारित, यह टीपीयू पर लगभग आधे सेकंड में 30 सेकंड के प्राकृतिक संवाद को संश्लेषित कर सकता है, जो उनकी गुणवत्ता और स्पीकर स्थिरता से मेल खाते हुए ऑटोरेग्रेसिव बेसलाइन से लगभग 100 गुना तेज है।