YAMNet تصنيف الصوت

YAMNet هو مصنف أحداث صوتية تم تدريبه مسبقًا وتم إصداره في مستودع نماذج TensorFlow. يتنبأ نموذجها الموثق بـ 521 فئة من فئات أحداث AudioSet ويستخدم بنية تلافيفية قابلة للفصل على طراز MobileNetV1. يمكنه إرجاع النتائج عبر الفئات للإطارات الصوتية المتعاقبة، بالإضافة إلى التضمينات المتوسطة. تجعل هذه المخرجات مفيدة لاستكشاف الصوت البيئي ولتمثيل البداية لمهمة أصغر في المراحل النهائية. ترتبط درجات الفصل بعلم وجود AudioSet، والذي يتضمن فئات مثل الكلام والموسيقى والحيوانات والأحداث البيئية. تشكل قائمة الفئات ما يمكن أن يعبر عنه النموذج: إذا كان المشروع يحتاج إلى تمييز غائب أو أوسع في التصنيف، فلا يمكن للنموذج أن يوفر تلك التسمية الدقيقة بشكل موثوق لمجرد وجود فئة مماثلة. افحص التعيينات والغموض بدلاً من التعامل مع أسماء المخرجات كحقيقة خاصة بالمشروع. يقوم سير العمل النموذجي بتحميل الصوت، وتحويله إلى معدل العينة المتوقع وتنسيق القناة، وتشغيل النموذج، وتجميع نتائج الإطار إذا كانت هناك حاجة إلى نتيجة على مستوى المقطع. يجب أن تكون إعادة أخذ العينات عبارة عن إعادة أخذ عينات حقيقية، وليس تغيير حقل البيانات الوصفية. يؤثر التحويل الأحادي وطول المحصول وتجميع الدرجات على المخرجات. قد يهيمن حدث واحد بصوت عالٍ على متوسط ​​المقطع، في حين أن الحد الأقصى يمكن أن يبالغ في التأكيد على نتيجة إيجابية كاذبة قصيرة. لنقل التعلم، يمكن للتضمينات تغذية مصنف تم تدريبه على الأمثلة المصنفة للمهمة المستهدفة. وبدلاً من ذلك، يقوم الضبط الدقيق بتحديث بعض أوزان النماذج. يعتمد الاختيار الصحيح على حجم البيانات وجودة الملصق. قم بتقسيم التسجيلات حسب المصدر أو الجلسة قبل استخراج المتغيرات المعززة، وتقييمها على تسجيلات مستقلة تمثيلية. مراقبة الأخطاء الخاصة بالفئة والمعايرة إذا كانت النتائج تدفع الحدود. YAMNet هو نموذج، وليس مجموعة بيانات منسقة أو التحقق من صحة الإنتاج. قد لا يمثل التدريب المسبق الواسع النطاق الخاص به معدات متخصصة أو بيئات تسجيل أو أحداث نادرة. تحقق من الترخيص ومصدر النموذج وتوافق الجهاز والأداء على المجموعة المستهدفة. قد تكون هناك حاجة إلى مراجعة بشرية عندما تؤدي تسميات الأحداث إلى اتخاذ قرارات.