অডিও এম্বেডিং এবং প্রতিনিধিত্ব শিক্ষা

অডিও এম্বেডিং শব্দকে কম্প্যাক্ট সংখ্যাসূচক ভেক্টরে পরিণত করে যা অর্থ ক্যাপচার করে, তাই মেশিনগুলি অডিওকে তুলনা করতে, অনুসন্ধান করতে এবং শ্রেণীবদ্ধ করতে পারে যেভাবে মানুষ একটি পরিচিত ভয়েস বা গানকে চিনতে পারে। তারা বক্তৃতা স্বীকৃতি, সঙ্গীত সুপারিশ, এবং শব্দ অনুসন্ধান পিছনে লুকানো ইঞ্জিন হয়.

একটি এমবেডিং হল একটি ঘন সংখ্যাসূচক ভেক্টর যা গাণিতিক স্পেসে একই ধরনের শব্দযুক্ত ক্লিপগুলিকে কাছাকাছি রাখে, শুধুমাত্র কাঁচা নমুনার পরিবর্তে অর্থ ক্যাপচার করে।

Wav2Vec 2.0 এবং HuBERT এর মতো স্ব-তত্ত্বাবধানে থাকা পদ্ধতিগুলি প্রচুর পরিমাণে লেবেলবিহীন অডিও থেকে শেখে, তাই ডাউনস্ট্রিম কাজের জন্য অনেক কম লেবেলযুক্ত ডেটার প্রয়োজন হয়।

Wav2Vec 2.0 একটি মুখোশযুক্ত, বিপরীত উদ্দেশ্য ব্যবহার করে: এটি অডিওর স্প্যান লুকিয়ে রাখে এবং বিক্ষিপ্তকারীর বিপরীতে সঠিক সুপ্ত ইউনিট সনাক্ত করতে শেখে।

CLAP (কন্ট্রাস্টিভ ল্যাঙ্গুয়েজ-অডিও প্রিট্রেনিং) একটি যৌথ স্থান শিখে যেখানে অডিও ক্লিপ এবং তাদের পাঠ্য বিবরণ একসাথে কাছাকাছি অবস্থান করে, পাঠ্য-ভিত্তিক শব্দ অনুসন্ধান সক্ষম করে।

কাঁচা তরঙ্গরূপের লক্ষ লক্ষ নমুনা থাকে, তাই অডিও সাধারণত স্পেকট্রোগ্রামে রূপান্তরিত হয় বা প্রধান নেটওয়ার্কের আগে শেখা ফ্রন্ট-এন্ড ফিল্টারগুলির মাধ্যমে পাস করা হয়।