ह्यूबर्ट स्व-पर्यवेक्षित भाषण

HuBERT (हिडन-यूनिट BERT) Meta AI का स्व-पर्यवेक्षित भाषण मॉडल है जो BERT-शैली में नकाबपोश खंडों के लिए क्लस्टर्ड ऑडियो इकाइयों की भविष्यवाणी करके सीखता है। यह मायने रखता है क्योंकि इसके क्लस्टरिंग-आधारित लक्ष्य अक्सर पहचान और डाउनस्ट्रीम भाषण कार्यों पर पहले के विपरीत तरीकों से बेहतर प्रदर्शन करते हैं।

Meta AI द्वारा 2021 में जारी किया गया, HuBERT BERT के पीछे के नकाबपोश-भविष्यवाणी विचार को कच्चे भाषण में अनुकूलित करता है। मुख्य नवाचार यह है कि यह प्रशिक्षण लक्ष्य कैसे बनाता है: Wav2Vec 2.0 जैसे विकर्षणों के विपरीत होने के बजाय, HuBERT प्रत्येक छोटे फ्रेम को एक अलग 'छिपी हुई इकाई' लेबल निर्दिष्ट करने के लिए ऑडियो सुविधाओं पर एक ऑफ़लाइन क्लस्टरिंग चरण (k-मीन्स) चलाता है। मॉडल तब ऑडियो के कुछ हिस्सों को मास्क करता है और छिपे हुए फ़्रेमों के लिए इन क्लस्टर लेबलों की भविष्यवाणी करना सीखता है, भाषण को छद्म-ध्वनि के अनुक्रम की तरह मानता है। महत्वपूर्ण रूप से, ह्यूबर्ट पुनरावृत्त करता है: यह मॉडल के स्वयं के बेहतर अभ्यावेदन का उपयोग करके पुन: क्लस्टर करता है और लक्ष्य इकाइयों को उत्तरोत्तर तेज करता है। यह रिफ़ाइनमेंट लूप मजबूत सुविधाएँ प्रदान करता है जो SUPERB जैसे ASR, स्पीकर और इमोशन बेंचमार्क में उत्कृष्टता प्राप्त करते हैं।