概述
它可以支持目录搜索、推荐和组织，但其预测结果取决于可用的标签和训练数据。
深入探讨
音乐自动标记将标签视为多标签分类问题：单个曲目可以同时是“摇滚”、“活力”和“吉他驱动”。现代系统将原始音频转换为梅尔频谱图（声音的时频图像），并通过在 MagnaTagATune、百万歌曲数据集或 MTG-Jamendo 等数据集上训练的卷积或基于变压器的神经网络提供数据。该模型输出每个可能标签的概率。由于人类应用的标签存在噪音且不完整，因此训练具有挑战性，并且标签不平衡。相同的主干越来越多地来自自我监督的音频模型，因此单个表示可以提供标签、推荐和相似性搜索，而不是为每个标签构建单独的模型。
现实世界的实施
Spotify 和类似服务为新上传的内容添加流派和情绪标签，以支持“每周发现”风格推荐
制作音乐库让视频编辑者可以通过“振奋人心的企业”或“紧张的电影”来过滤数百万个库存曲目
DJ 软件自动检测 BPM、调和能量，因此可以自动对曲目进行排序和节拍匹配
音乐授权平台标记乐器和情绪，将歌曲与广告简介相匹配
音乐自动标记的未来
诸如 CLAP 的音频语言模型将声音与文本表示连接起来，允许在固定标签标注的同时进行自由格式检索。研究还在探索更广泛的流派覆盖范围、字幕生成以及更高效的模型。这些方法仍然需要在预期的目录上进行评估：文本查询匹配并不能证明描述是详尽或客观的，特别是对于主观的情绪和风格。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是音乐自动标记？
音乐自动标注根据音频预测流派、情绪和乐器等描述性标签。它可以支持目录搜索、推荐和组织，但其预测结果取决于可用的标签和训练数据。
为什么多标签音乐标注器通常使用独立的 sigmoid 输出，而不是对标签使用单一的 softmax？
一首曲目可以既是以吉他为主导又充满活力。独立的输出允许多个激活的标签，同时并没有断言这些属性在统计学上是独立的。
大多数现代自动标记模型将什么输入表示输入到其神经网络中？
音频通常会转换为梅尔频谱图，这是一种时频图像，CNN 可以像处理照片一样处理它。
为什么使用梅尔标度而不是简单的线性频率标度？
梅尔音阶间隔频率以匹配人类的音调感知，为我们耳朵最关心的较低频率提供更高的分辨率。
在现实数据集上训练自动标记模型时的主要挑战是什么？
众包标签不一致，许多有效标签完全丢失，并且某些标签出现的频率远高于其他标签，这使得学习变得更加困难。
哪个数据集通常用于训练和基准音乐自动标记系统？
MagnaTagATune 以及百万歌曲数据集和 MTG-Jamendo 是音乐标签的标准基准。 ImageNet 用于图像，SQuAD 用于文本 QA，LibriSpeech 用于语音。