ऑडियो एंबेडिंग और प्रतिनिधित्व सीखना

ऑडियो एम्बेडिंग ध्वनि को कॉम्पैक्ट संख्यात्मक वैक्टर में बदल देती है जो अर्थ को पकड़ लेती है, इसलिए मशीनें ऑडियो की तुलना, खोज और वर्गीकरण कर सकती हैं जिस तरह मनुष्य किसी परिचित आवाज या गीत को पहचानते हैं। वे वाक् पहचान, संगीत अनुशंसा और ध्वनि खोज के पीछे छिपे हुए इंजन हैं।

एम्बेडिंग एक सघन संख्यात्मक वेक्टर है जो गणितीय स्थान में समान ध्वनि वाले क्लिप को एक साथ रखता है, जो केवल कच्चे नमूनों के बजाय अर्थ को कैप्चर करता है।

Wav2Vec 2.0 और HuBERT जैसी स्व-पर्यवेक्षित विधियाँ बड़ी मात्रा में बिना लेबल वाले ऑडियो से सीखती हैं, इसलिए डाउनस्ट्रीम कार्यों के लिए बहुत कम लेबल वाले डेटा की आवश्यकता होती है।

Wav2Vec 2.0 एक नकाबपोश, विरोधाभासी उद्देश्य का उपयोग करता है: यह ऑडियो के विस्तार को छुपाता है और ध्यान भटकाने वाले बनाम सही अव्यक्त इकाई की पहचान करना सीखता है।

CLAP (कंट्रास्टिव लैंग्वेज-ऑडियो प्रीट्रेनिंग) एक संयुक्त स्थान सीखता है जहां ऑडियो क्लिप और उनके टेक्स्ट विवरण एक साथ आते हैं, जिससे टेक्स्ट-आधारित ध्वनि खोज सक्षम हो जाती है।

कच्चे तरंगों में लाखों नमूने होते हैं, इसलिए ऑडियो को आमतौर पर स्पेक्ट्रोग्राम में परिवर्तित किया जाता है या मुख्य नेटवर्क से पहले सीखे गए फ्रंट-एंड फिल्टर के माध्यम से पारित किया जाता है।