梅尔谱图
梅尔声谱图是声音随时间变化的图像，其频率间隔与人耳感知音调的方式相同。
概述
It matters because it turns raw audio into a compact, perceptually meaningful image that powers most speech and music AI.
深入探讨
梅尔声谱图将一维音频波形转换为二维图：时间沿着一个轴运行，频率沿着另一个轴运行，颜色或亮度显示能量。关键的变化是梅尔音阶——频率被分组为低音调较窄、高音较宽的频带，这与人类听觉在范围底部更好地区分音调的方式相匹配。这使得表示比原始频率图更小且更有用。因为它看起来像图像，所以卷积网络和变压器可以直接处理它，这就是为什么梅尔声谱图支持语音识别、唤醒词检测、音乐标记和现代文本到语音系统，这些系统在将其转换回音频之前生成梅尔声谱图。
技术洞察
该管道从短时傅里叶变换开始：信号被切割成重叠的帧，每个帧都被加窗和变换以显示其频率内容。然后，所得的功率谱通过一组重叠的三角形梅尔滤波器，将能量汇总到感知间隔的频带中。取这些频带能量的对数，将响度的巨大动态范围压缩为网络可以很好处理的东西，从而产生用作模型输入的熟悉的对数梅尔频谱图。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
梅尔谱图的未来
尽管一些研究直接从原始波形中探索学习特征，但梅尔频谱图仍然是音频 AI 中占主导地位的高效输入。将预测的梅尔频谱图转换回自然语音的神经声码器不断改进，推动更好的文本到语音和语音克隆。预计基于梅尔的表示将在音频基础模型和自监督预训练中保持核心地位，并改进分辨率、学习滤波器组以及与生成的扩散和变压器模型的紧密集成。
现实世界的实施
将 log-mel 频谱图输入语音识别模型，例如许多 ASR 系统的前端
文本转语音系统，例如 Tacotron 预测梅尔谱图，然后由声码器将其转换为音频
音乐应用程序通过将频谱图视为图像来对流派、情绪或乐器进行分类
通过发现频谱图中的线索模式来检测机器故障或环境声音
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mel Spectrograms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Mel Spectrograms?
梅尔声谱图是声音随时间变化的图像，其频率间隔与人耳感知音调的方式相同。这很重要，因为它将原始音频转化为紧凑的、具有感知意义的图像，为大多数语音和音乐人工智能提供动力。
梅尔谱图代表什么？
它是一个二维图，显示随着时间的推移每个频段存在多少能量，频率处于感知范围内。
梅尔等级有什么特别之处？
梅尔音阶在低音处使用较窄的频带，在高音处使用较宽的频带，反映了人类的音高感知。
哪种变换是构建梅尔谱图的第一步？
STFT 将音频分割成窗口帧并显示每个帧的频率内容，然后将其映射到梅尔频带。
为什么对数通常应用于梅尔带能量？
响度范围很大；获取对数对其进行压缩，以便神经网络可以更轻松地从中学习，从而给出对数梅尔频谱图。
为什么梅尔谱图可以方便地输入神经网络？
它们类似 2D 图像的结构让视觉风格的架构可以直接应用于音频。