概述
它支持从 Shazam 风格的歌曲识别到 Spotify 的推荐和自动音乐标记等一切功能。
深入探讨
音乐信息检索位于信号处理、机器学习和音乐学的交叉点。研究人员从音频中提取特征，例如频谱图、梅尔频率倒谱系数 (MFCC)、色度向量和节奏，以捕获音高、音色、节奏和和声。 MIR 系统从中执行节拍跟踪、调检测、流派分类、旋律提取、翻唱歌曲识别和音乐推荐等任务。自 2000 年以来，年度 ISMIR 会议和 MIREX 评估活动推动了进展。现代 MIR 越来越多地使用深度学习、直接在频谱图上训练卷积和变压器网络以及自监督音频嵌入，取代了许多手工制作的功能，同时仍然依赖音乐理论概念来标记和解释结果。
现实世界的实施
Shazam 和类似应用程序使用音频指纹从嘈杂的电话录音中识别歌曲
Spotify 和 Apple Music 根据学习到的音频相似性生成推荐和自动播放列表
自动标记大型制作音乐和库存音频库的情绪、流派和乐器
在 YouTube Content ID 等平台上检测封面版本和潜在的版权匹配
音乐信息检索的未来
MIR 正在转向大型自监督音频模型，从数百万个未标记的曲目中学习一般的音乐表征，然后用很少的标记数据针对特定任务进行微调。期望与生成音乐模型、自然语言音乐搜索（“用画笔查找欢快的爵士曲目”）更紧密地集成，以及更好地处理标准色度和关键模型忽略的非西方传统。结合音频、歌词、乐谱和元数据的多模式系统将使推荐和发现更加细致和个性化。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是音乐信息检索？
音乐信息检索 (MIR) 是教计算机从音频信号和乐谱中分析、理解和搜索音乐的领域。它支持从 Shazam 风格的歌曲识别到 Spotify 的推荐和自动音乐标记等一切功能。
MIR 中主要用于捕获的色度特征是什么？
Chroma 功能将所有八度音程的能量折叠为 12 个音级，使其非常适合和声、和弦和调分析。
将音频转换为时频表示的第一步通常是哪种变换？
短时傅里叶变换生成频谱图，这是大多数 MIR 特征和模型的基础。
像 Shazam 这样的应用程序依靠什么来识别歌曲？
指纹识别可创建紧凑、抗噪声的音频峰值哈希值，并与索引数据库进行匹配。
哪个年会与 MIR 研究最相关？
ISMIR（国际音乐信息检索协会会议）是该领域的中心场所。
现代 MIR 中自监督音频模型的主要优势是什么？
自我监督学习从未标记的音频中提取一般的音乐结构，减少了对昂贵的手工标记数据集的需求。