كشف الأحداث الصوتية

يحدد اكتشاف الأحداث الصوتية (SED) الأصوات التي تحدث في التدفق الصوتي ومتى تبدأ وتتوقف بالضبط. فهو يحول الصوت الخام إلى جدول زمني محدد، مما يمكّن الآلات من فهم المشاهد الصوتية.

يقوم SED بتوطين الأحداث في الوقت المناسب باستخدام الطوابع الزمنية للبداية والإزاحة، بينما يقوم وضع العلامات فقط بتحديد ما إذا كان الصوت موجودًا في مكان ما في المقطع.

يحتوي الصوت الواقعي في كثير من الأحيان على العديد من الأحداث المتداخلة في نفس الوقت، لذلك يجب أن يتنبأ النموذج بعدة تسميات نشطة لكل إطار.

تشير التصنيفات الضعيفة إلى وجود حدث في مقطع بدون أوقات بداية وإزاحة محددة، مما يجعل التعلم الزمني الدقيق أكثر صعوبة.

تقوم شبكات CRNN بإقران طبقات CNN التي تلتقط أنماط التردد الزمني مع الطبقات المتكررة التي تمثل السياق الزمني، وهو تصميم SED كلاسيكي غالبًا ما يتم ربطه الآن بواسطة المحولات.

عادةً ما يتم تحويل الصوت إلى مخطط طيفي log-mel، وهو صورة ذات تردد زمني تقوم النماذج بتحليل الأنماط الصوتية.