音频人工智能指南

PESQ 和 STOI 语音质量指标

PESQ 和 STOI 是标准的客观指标,可以对处理后的语音声音的好坏程度以及语音的可理解性进行评分,而无需人类听众。

阅读时间:2分钟最后更新

概述

They let engineers benchmark codecs, noise reducers, and speech-enhancement models automatically.

深入探讨

PESQ(语音质量感知评估),标准化为 ITU-T P.862,预测语音的感知质量,主要用于电话和编解码器测试。它将干净的参考信号与降级的参考信号进行比较,并输出类似 MOS 等级的分数(大约 -0.5 到 4.5),模拟人类听觉感知。 STOI(短时客观清晰度)于 2010 年推出,它预测清晰度:听众实际上能理解多少单词。它将跨频段的干净语音和经过处理的语音的短时时间包络关联起来,产生从 0 到 1 的分数。两者都是侵入性(基于参考)指标。 PESQ 回答“听起来不错吗?”而STOI则回答“你能理解吗?”它们共同成为语音增强、降噪和去混响系统的默认评估工具。

技术洞察

这两个指标都是侵入性的:它们在评分之前将干净的参考与降级的信号对齐。 PESQ 将两个信号映射到心理声学响度标度(巴克带)上,计算随时间变化的感知干扰,并将其回归为类似 MOS 的值。 STOI 将语音分成三分之一倍频程,采用约 400 ms 的短包络段,对其进行剪辑和标准化,然后计算参考包络和降级包络之间的相关性。对这些相关性进行平均可得出 0 到 1 的可懂度分数。

战略影响

交通与覆盖范围

它通过转录、旁白和语音界面提高了可访问性。

成本与预算

媒体团队可以用更少的预算更快地交付精美的音频。

速度与规模

面向客户的系统可以处理更大规模的语音交互。

PESQ 和 STOI 语音质量指标的未来

由于 PESQ 和 STOI 需要一个干净的参考,因此研究正在转向非侵入式、无参考的指标,例如 DNSMOS 和 NISQA,这些指标仅使用神经网络根据降级信号对质量进行评分。较新的深度学习模型也经过训练可以直接预测人类 MOS。尽管如此,PESQ 和 STOI 仍然是根深蒂固的基准,一个关键趋势是使它们具有可微分性,因此它们可以直接用作语音增强网络的训练损失函数,而不仅仅是用作事后评估。

现实世界的实施

在标准测试集上对语音增强和噪声抑制模型进行基准测试

在网络工程期间比较电话和 VoIP 编解码器质量

调整助听器和人工耳蜗处理以获得最大清晰度

验证会议和语音助手管道中的去混响算法

风险与防护栏

如果未征得同意,语音滥用和冒充风险就会增加。

由于口音、方言或嘈杂的环境,准确性可能会下降。

如果没有明确的标签,合成音频可能会被误认为是真实的语音。

实施路线图

1

获得语音捕获、克隆和重用的明确同意。

2

测试不同扬声器和背景条件下的质量。

3

定义人员必须审查或批准输出的时间。

4

标记合成音频并保留来源记录以供问责。

不断探索

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the PESQ and STOI Speech Quality Metrics quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

开始测验

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

下一个指南

语音合成质量

常见问题

What is PESQ and STOI Speech Quality Metrics?

PESQ 和 STOI 是标准的客观指标,可以对处理后的语音声音的好坏程度以及语音的可理解性进行评分,而无需人类听众。它们让工程师自动对编解码器、降噪器和语音增强模型进行基准测试。

PESQ 主要衡量什么?

PESQ (ITU-T P.862) 以类似 MOS 的尺度预测感知的语音质量。

STOI 主要预测什么?

STOI 以 0 到 1 的等级评估清晰度,即语音的可理解程度。

PESQ 和 STOI 都被描述为“侵入性”指标。这意味着什么?

侵入性指标将降级信号与干净的参考信号进行比较以计算分数。

STOI的大概分数范围是多少?

STOI 输出一个介于 0 和 1 之间的值,其中越高意味着更容易理解。

PESQ 使用哪种感知频率尺度来模拟人类听力?

PESQ 使用 Bark 频带处理将信号映射到心理声学响度表示上。