Классификация аудио YAMNet

YAMNet — это предварительно обученный классификатор аудиособытий, выпущенный в репозитории моделей TensorFlow. Его документированная модель прогнозирует 521 класс событий AudioSet и использует сверточную архитектуру с разделением по глубине в стиле MobileNetV1. Он может возвращать оценки по классам для последовательных аудиокадров, а также для промежуточных вложений. Эти результаты делают его полезным для изучения экологического шума и в качестве отправной точки для более мелких последующих задач. Оценки класса привязаны к онтологии AudioSet, которая включает в себя такие категории, как речь, музыка, животные и события, связанные с окружающей средой. Список классов определяет то, что может выразить модель: если проекту требуется различие, отсутствующее или более широкое в таксономии, модель не может надежно предоставить точное обозначение только потому, что существует аналогичный класс. Проверяйте сопоставления и неоднозначность, а не рассматривайте выходные имена как истину, специфичную для проекта. Типичный рабочий процесс загружает аудио, преобразует его в ожидаемую частоту дискретизации и формат канала, запускает модель и суммирует оценки кадров, если необходим результат на уровне клипа. Повторная выборка должна быть настоящей повторной выборкой, а не изменением поля метаданных. Моно-преобразование, длина кадрирования и агрегирование оценок влияют на выходные данные. Одно громкое событие может доминировать над средним значением клипа, тогда как максимум может переоценить кратковременное ложное срабатывание. Для трансферного обучения встраивания могут передавать данные классификатору, обученному на примерах, помеченных для целевой задачи. Альтернативно, точная настройка обновляет некоторые веса модели. Правильный выбор зависит от размера данных и качества этикетки. Разделите записи по источникам или сеансам, прежде чем извлекать расширенные варианты, и оцените репрезентативные независимые записи. Отслеживайте ошибки, специфичные для класса, и калибровку, если оценки достигают пороговых значений. YAMNet — это модель, а не тщательно подобранный набор данных или производственная проверка. Его широкая предварительная подготовка может не касаться специализированного оборудования, условий записи или редких событий. Проверьте лицензирование, происхождение модели, совместимость устройств и производительность для целевой аудитории. Человеческий анализ может потребоваться, когда ярлыки событий приводят к принятию решений.