āļ„āļđāđˆāļĄāļ·āļ­āđ€āļŠāļĩāļĒāļ‡ AI

āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāļ„āļīāļ”āđ€āļŦāđ‡āļ™āđ€āļ‰āļĨāļĩāđˆāļĒ

Mean Opinion Score (MOS) is an average of subjective listener ratings collected under a defined test protocol.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāļ„āļīāļ”āđ€āļŦāđ‡āļ™āđ€āļ‰āļĨāļĩāđˆāļĒ
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It summarizes a panel’s judgments on a specified scale; the value depends on the stimuli, instructions, listener population, and test conditions, and is not a context-free physical measurement.

āđ€āļˆāļēāļ°āļĨāļķāļ

ITU-T Recommendation P.800 describes methods for subjective transmission-quality evaluation, including Absolute Category Rating (ACR) and Comparison Category Rating procedures. In ACR, listeners rate samples using a defined opinion scale; MOS is the arithmetic mean of the collected scores for the evaluated set. A score of 5 corresponds to excellent and 1 to bad in the common five-point scale. Scores from different studies should not be treated as directly comparable when their samples, instructions, listeners, playback conditions, or protocols differ. Automatic predictors such as DNSMOS and UTMOS are trained against human ratings and can screen large sets, but prediction quality may weaken out of domain, such as for unseen speakers, listeners, or systems.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Using an Absolute Category Rating test to collect independent quality ratings for speech samples

Comparing codec outputs within a controlled listening session and reporting protocol details

Estimating uncertainty in a panel average by reporting score distributions or confidence intervals

Using an automatic MOS predictor for screening while validating important results with human ratings

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāļ„āļīāļ”āđ€āļŦāđ‡āļ™āđ€āļ‰āļĨāļĩāđˆāļĒ

Evaluation research pairs objective predictors with listening panels and studies how well predictors generalize across speakers, systems, domains, and instructions. Near the top of a bounded rating scale, ceiling effects can compress differences, but the degree depends on the study. Strong reports include protocol details and uncertainty rather than presenting one MOS value as an absolute ranking.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āđ€āļ‚āđ‰āļēāļ–āļķāļ‡āđāļĨāļ°āđ€āļ‚āđ‰āļēāļ–āļķāļ‡. āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļœāđˆāļēāļ™āļāļēāļĢāļ–āļ­āļ”āđ€āļŠāļĩāļĒāļ‡ āļ„āļģāļšāļĢāļĢāļĒāļēāļĒ āđāļĨāļ°āļ­āļīāļ™āđ€āļ—āļ­āļĢāđŒāđ€āļŸāļ‹āđ€āļŠāļĩāļĒāļ‡
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ—āļĩāļĄāļŠāļ·āđˆāļ­āļŠāļēāļĄāļēāļĢāļ–āļˆāļąāļ”āļŠāđˆāļ‡āđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄāđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™āļ”āđ‰āļ§āļĒāļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“āļ—āļĩāđˆāļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. āļĢāļ°āļšāļšāļ—āļĩāđˆāļ•āļīāļ”āļ•āđˆāļ­āļāļąāļšāļĨāļđāļāļ„āđ‰āļēāļŠāļēāļĄāļēāļĢāļ–āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļāļēāļĢāđ‚āļ•āđ‰āļ•āļ­āļšāļ”āđ‰āļ§āļĒāđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ‚āļ™āļēāļ”āļ—āļĩāđˆāđƒāļŦāļāđˆāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđƒāļŠāđ‰āđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ—āļēāļ‡āļ—āļĩāđˆāļœāļīāļ”āđāļĨāļ°āļāļēāļĢāđāļ­āļšāļ­āđ‰āļēāļ‡āļšāļļāļ„āļ„āļĨāļ­āļ·āđˆāļ™āļĄāļĩāļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āļ‚āļēāļ”āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄ
  • āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ­āļēāļˆāļĨāļ”āļĨāļ‡āļ•āļēāļĄāļŠāļģāđ€āļ™āļĩāļĒāļ‡ āļ āļēāļĐāļēāļ–āļīāđˆāļ™ āļŦāļĢāļ·āļ­āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄāļ—āļĩāđˆāļĄāļĩāđ€āļŠāļĩāļĒāļ‡āļ”āļąāļ‡
  • āđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāļ­āļēāļˆāļ–āļđāļāđ€āļ‚āđ‰āļēāđƒāļˆāļœāļīāļ”āļ§āđˆāļēāđ€āļ›āđ‡āļ™āđ€āļŠāļĩāļĒāļ‡āļžāļđāļ”āļ—āļĩāđˆāđāļ—āđ‰āļˆāļĢāļīāļ‡āđ‚āļ”āļĒāđ„āļĄāđˆāļĄāļĩāļāļēāļĢāļāļģāļāļąāļšāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ„āļ”āđ‰āļĢāļąāļšāļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāļ­āļĒāđˆāļēāļ‡āļŠāļąāļ”āđāļˆāđ‰āļ‡āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļˆāļąāļšāđ€āļŠāļĩāļĒāļ‡ āļāļēāļĢāđ‚āļ„āļĨāļ™ āđāļĨāļ°āļāļēāļĢāđƒāļŠāđ‰āļ‹āđ‰āļģ
  2. āļ—āļ”āļŠāļ­āļšāļ„āļļāļ“āļ āļēāļžāļāļąāļšāļĨāļģāđ‚āļžāļ‡āđāļĨāļ°āļŠāļ āļēāļžāļžāļ·āđ‰āļ™āļŦāļĨāļąāļ‡āļ—āļĩāđˆāļŦāļĨāļēāļāļŦāļĨāļēāļĒ
  3. āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāļĄāļ™āļļāļĐāļĒāđŒāļˆāļ°āļ•āđ‰āļ­āļ‡āļ•āļĢāļ§āļˆāļŠāļ­āļšāļŦāļĢāļ·āļ­āļ­āļ™āļļāļĄāļąāļ•āļīāļœāļĨāļĨāļąāļžāļ˜āđŒ
  4. āļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāđāļĨāļ°āđ€āļāđ‡āļšāļšāļąāļ™āļ—āļķāļāļ—āļĩāđˆāļĄāļēāđ€āļžāļ·āđˆāļ­āļ„āļ§āļēāļĄāļĢāļąāļšāļœāļīāļ”āļŠāļ­āļš

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Mean Opinion Score Evaluation quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Mean Opinion Score Evaluation?

Mean Opinion Score (MOS) is an average of subjective listener ratings collected under a defined test protocol. It summarizes a panel’s judgments on a specified scale; the value depends on the stimuli, instructions, listener population, and test conditions, and is not a context-free physical measurement.

āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāļ„āļīāļ”āđ€āļŦāđ‡āļ™āđ€āļ‰āļĨāļĩāđˆāļĒ 5 āđāļŠāļ”āļ‡āļ–āļķāļ‡āļ­āļ°āđ„āļĢāđƒāļ™āļĢāļ°āļ”āļąāļšāļĄāļēāļ•āļĢāļāļēāļ™

āđƒāļ™āļĢāļ°āļ”āļąāļšāļ„āļ°āđāļ™āļ™āļŦāļĄāļ§āļ”āļŦāļĄāļđāđˆāļŠāļąāļĄāļšāļđāļĢāļ“āđŒāļŦāđ‰āļēāļˆāļļāļ”āļ‚āļ­āļ‡ ITU āļĄāļēāļ•āļĢāļāļēāļ™ 5 āļŦāļĄāļēāļĒāļ–āļķāļ‡āļ”āļĩāđ€āļĒāļĩāđˆāļĒāļĄ āđāļĨāļ° 1 āļŦāļĄāļēāļĒāļ–āļķāļ‡āđāļĒāđˆ

Why do MOS studies collect ratings from multiple listeners?

Multiple listeners let researchers estimate an average and its variability; the precision depends on the panel size and study design.

āļ­āļ‡āļ„āđŒāļāļĢāđƒāļ”āļāļģāļŦāļ™āļ”āļĄāļēāļ•āļĢāļāļēāļ™āļ§āļīāļ˜āļĩāļāļēāļĢ MOS āļ”āļąāđ‰āļ‡āđ€āļ”āļīāļĄāļŠāļģāļŦāļĢāļąāļšāļ„āļļāļ“āļ āļēāļžāđ€āļŠāļĩāļĒāļ‡

āļŠāļŦāļ āļēāļžāđ‚āļ—āļĢāļ„āļĄāļ™āļēāļ„āļĄāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļ›āļĢāļ°āđ€āļ—āļĻāļāļģāļŦāļ™āļ”āļāļēāļĢāļ—āļ”āļŠāļ­āļš MOS āđƒāļ™āļ‚āđ‰āļ­āđāļ™āļ°āļ™āļģ P.800 āļ‹āļķāđˆāļ‡āđ€āļ”āļīāļĄāļĄāļĩāđ„āļ§āđ‰āļŠāļģāļŦāļĢāļąāļšāļ„āļļāļ“āļ āļēāļžāđ€āļŠāļĩāļĒāļ‡āļžāļđāļ”āļ—āļēāļ‡āđ‚āļ—āļĢāļĻāļąāļžāļ—āđŒ

āļ‚āđ‰āļ­āļˆāļģāļāļąāļ”āļ—āļĩāđˆāļŠāļģāļ„āļąāļāđƒāļ™āļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļ„āđˆāļē MOS āļˆāļēāļāļāļēāļĢāļĻāļķāļāļĐāļēāļŠāļ­āļ‡āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļĩāđˆāđāļĒāļāļāļąāļ™āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļāļēāļĢāđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āļ‚āļķāđ‰āļ™āļ­āļĒāļđāđˆāļāļąāļšāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡ āđ€āļ‰āļžāļēāļ°āļˆāļļāļ”āļĒāļķāļ” āđāļĨāļ°āļāļĨāļļāđˆāļĄ Listener āļˆāļķāļ‡āđ„āļĄāđˆāļŠāļēāļĄāļēāļĢāļ–āđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļŦāļĄāļēāļĒāđ€āļĨāļ‚ MOS āļŠāļąāļĄāļšāļđāļĢāļ“āđŒāļˆāļēāļāđ€āļ‹āļŠāļŠāļąāļ™āļ•āđˆāļēāļ‡āđ† āđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­

āļ•āļąāļ§āļ—āļģāļ™āļēāļĒ MOS āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđ€āļŠāđˆāļ™ DNSMOS āļŦāļĢāļ·āļ­ UTMOS āđāļāđ‰āļ›āļąāļāļŦāļēāļ­āļ°āđ„āļĢāđ„āļ”āđ‰āļšāđ‰āļēāļ‡

āđāļšāļšāļˆāļģāļĨāļ­āļ‡ MOS āļ—āļĩāđˆāļ„āļēāļ”āļāļēāļĢāļ“āđŒāđ„āļ§āđ‰āđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāļāļ™āđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļāļēāļĢāđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒāļ›āļĢāļ°āļĄāļēāļ“āļ„āļ°āđāļ™āļ™āđ‚āļ”āļĒāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļī āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāļ„āļąāļ”āļāļĢāļ­āļ‡āļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļˆāļģāļ™āļ§āļ™āļĄāļēāļāđ„āļ”āđ‰āđƒāļ™āļĢāļēāļ„āļēāļ–āļđāļāļāđˆāļ­āļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ‚āļąāđ‰āļ™āļŠāļļāļ”āļ—āđ‰āļēāļĒāđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒ

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļ„āļ°āđāļ™āļ™ Silhouette āđāļĨāļ°āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āļĨāļąāļŠāđ€āļ•āļ­āļĢāđŒ

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →