āļ„āļđāđˆāļĄāļ·āļ­āđ€āļŠāļĩāļĒāļ‡ AI

āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāļŠāļ™āļēāļĄāđ€āļ„āļĢāļ›

CREPE is a convolutional neural network for estimating fundamental frequency in monophonic audio.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļē Pitch āļ‚āļ­āļ‡ CREPE
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It operates directly on waveform frames and was evaluated against established pitch trackers, including tests of noise robustness. Its pitch estimates are model outputs and can still be wrong, especially when the input falls outside the task or conditions studied.

āđ€āļˆāļēāļ°āļĨāļķāļ

CREPE (Convolutional Representation for Pitch Estimation), introduced by Kim, Salamon, Li, and Bello in 2018, estimates the fundamental frequency of monophonic sound such as a solo voice or instrument. The model applies a deep convolutional network directly to time-domain waveform frames instead of first computing a spectrogram. It frames pitch estimation as classification over 360 bins spanning roughly six octaves, spaced 20 cents apart; a local weighted average around the peak can refine the frequency estimate. The authors compared it with pYIN and evaluated generalization under noise, reporting performance that was equal or better in their tested settings. Those findings do not imply that CREPE is more accurate for every recording or task.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļ•āļīāļ”āļ•āļēāļĄāļĢāļ°āļ”āļąāļšāđ€āļŠāļĩāļĒāļ‡āļ‚āļ­āļ‡āļ™āļąāļāļĢāđ‰āļ­āļ‡āđ€āļžāļ·āđˆāļ­āļĢāļąāļšāļŸāļąāļ‡āļ„āļ§āļēāļĄāļ„āļīāļ”āđ€āļŦāđ‡āļ™āđāļšāļšāđ€āļĢāļĩāļĒāļĨāđ„āļ—āļĄāđŒāđƒāļ™āđāļ­āļ›āļāļķāļāļĢāđ‰āļ­āļ‡

āļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āļ›āļĢāļąāļšāđāļ•āđˆāļ‡āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđāļĨāļ°āđāļāđ‰āđ„āļ‚āļĢāļ°āļ”āļąāļšāđ€āļŠāļĩāļĒāļ‡āļ”āđ‰āļ§āļĒāđ€āļŠāđ‰āļ™āđ‚āļ„āđ‰āļ‡āļ„āļ§āļēāļĄāļ–āļĩāđˆāļžāļ·āđ‰āļ™āļāļēāļ™āļ—āļĩāđˆāđāļĄāđˆāļ™āļĒāļģ

āļāļēāļĢāļ–āļ­āļ”āđ€āļŠāļĩāļĒāļ‡āļ—āđˆāļ§āļ‡āļ—āļģāļ™āļ­āļ‡āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļ”āļ™āļ•āļĢāļĩāđ€āļ”āļĩāđˆāļĒāļ§āđ€āļ›āđ‡āļ™ MIDI āļŦāļĢāļ·āļ­āđāļœāđˆāļ™āđ‚āļ™āđ‰āļ•āđ€āļžāļĨāļ‡

āļāļēāļĢāļ§āļīāđ€āļ„āļĢāļēāļ°āļŦāđŒāļ™āđ‰āļģāđ€āļŠāļĩāļĒāļ‡āđāļĨāļ°āđ€āļŠāļĩāļĒāļ‡āļŠāļąāđˆāļ™āđƒāļ™āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āļ”āļ™āļ•āļĢāļĩāđāļĨāļ°āļāļēāļĢāļ§āļīāļˆāļąāļĒāļāļēāļĢāđāļŠāļ”āļ‡

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļē Pitch āļ‚āļ­āļ‡ CREPE

Pitch tracking research explores polyphonic inputs, model latency, and compact inference on devices. CREPE’s waveform-first design remains a useful comparison point, while newer systems may combine learned representations with explicit signal-processing methods. Downstream tools should treat pitch and confidence outputs as estimates that may need smoothing or review.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āđ€āļ‚āđ‰āļēāļ–āļķāļ‡āđāļĨāļ°āđ€āļ‚āđ‰āļēāļ–āļķāļ‡. āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļœāđˆāļēāļ™āļāļēāļĢāļ–āļ­āļ”āđ€āļŠāļĩāļĒāļ‡ āļ„āļģāļšāļĢāļĢāļĒāļēāļĒ āđāļĨāļ°āļ­āļīāļ™āđ€āļ—āļ­āļĢāđŒāđ€āļŸāļ‹āđ€āļŠāļĩāļĒāļ‡
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ—āļĩāļĄāļŠāļ·āđˆāļ­āļŠāļēāļĄāļēāļĢāļ–āļˆāļąāļ”āļŠāđˆāļ‡āđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄāđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™āļ”āđ‰āļ§āļĒāļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“āļ—āļĩāđˆāļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. āļĢāļ°āļšāļšāļ—āļĩāđˆāļ•āļīāļ”āļ•āđˆāļ­āļāļąāļšāļĨāļđāļāļ„āđ‰āļēāļŠāļēāļĄāļēāļĢāļ–āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļāļēāļĢāđ‚āļ•āđ‰āļ•āļ­āļšāļ”āđ‰āļ§āļĒāđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ‚āļ™āļēāļ”āļ—āļĩāđˆāđƒāļŦāļāđˆāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđƒāļŠāđ‰āđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ—āļēāļ‡āļ—āļĩāđˆāļœāļīāļ”āđāļĨāļ°āļāļēāļĢāđāļ­āļšāļ­āđ‰āļēāļ‡āļšāļļāļ„āļ„āļĨāļ­āļ·āđˆāļ™āļĄāļĩāļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āļ‚āļēāļ”āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄ
  • āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ­āļēāļˆāļĨāļ”āļĨāļ‡āļ•āļēāļĄāļŠāļģāđ€āļ™āļĩāļĒāļ‡ āļ āļēāļĐāļēāļ–āļīāđˆāļ™ āļŦāļĢāļ·āļ­āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄāļ—āļĩāđˆāļĄāļĩāđ€āļŠāļĩāļĒāļ‡āļ”āļąāļ‡
  • āđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāļ­āļēāļˆāļ–āļđāļāđ€āļ‚āđ‰āļēāđƒāļˆāļœāļīāļ”āļ§āđˆāļēāđ€āļ›āđ‡āļ™āđ€āļŠāļĩāļĒāļ‡āļžāļđāļ”āļ—āļĩāđˆāđāļ—āđ‰āļˆāļĢāļīāļ‡āđ‚āļ”āļĒāđ„āļĄāđˆāļĄāļĩāļāļēāļĢāļāļģāļāļąāļšāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ„āļ”āđ‰āļĢāļąāļšāļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāļ­āļĒāđˆāļēāļ‡āļŠāļąāļ”āđāļˆāđ‰āļ‡āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļˆāļąāļšāđ€āļŠāļĩāļĒāļ‡ āļāļēāļĢāđ‚āļ„āļĨāļ™ āđāļĨāļ°āļāļēāļĢāđƒāļŠāđ‰āļ‹āđ‰āļģ
  2. āļ—āļ”āļŠāļ­āļšāļ„āļļāļ“āļ āļēāļžāļāļąāļšāļĨāļģāđ‚āļžāļ‡āđāļĨāļ°āļŠāļ āļēāļžāļžāļ·āđ‰āļ™āļŦāļĨāļąāļ‡āļ—āļĩāđˆāļŦāļĨāļēāļāļŦāļĨāļēāļĒ
  3. āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāļĄāļ™āļļāļĐāļĒāđŒāļˆāļ°āļ•āđ‰āļ­āļ‡āļ•āļĢāļ§āļˆāļŠāļ­āļšāļŦāļĢāļ·āļ­āļ­āļ™āļļāļĄāļąāļ•āļīāļœāļĨāļĨāļąāļžāļ˜āđŒ
  4. āļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāđāļĨāļ°āđ€āļāđ‡āļšāļšāļąāļ™āļ—āļķāļāļ—āļĩāđˆāļĄāļēāđ€āļžāļ·āđˆāļ­āļ„āļ§āļēāļĄāļĢāļąāļšāļœāļīāļ”āļŠāļ­āļš

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the CREPE Pitch Estimation quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is CREPE Pitch Estimation?

CREPE is a convolutional neural network for estimating fundamental frequency in monophonic audio. It operates directly on waveform frames and was evaluated against established pitch trackers, including tests of noise robustness. Its pitch estimates are model outputs and can still be wrong, especially when the input falls outside the task or conditions studied.

CREPE āļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāļ­āļ°āđ„āļĢāļˆāļēāļāļŠāļąāļāļāļēāļ“āđ€āļŠāļĩāļĒāļ‡?

CREPE āļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ„āļ§āļēāļĄāļ–āļĩāđˆāļžāļ·āđ‰āļ™āļāļēāļ™ āđ€āļŠāđˆāļ™ āļĢāļ°āļ”āļąāļšāđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāļĢāļąāļšāļĢāļđāđ‰āļ‚āļ­āļ‡āđ€āļŠāļĩāļĒāļ‡āđ‚āļĄāđ‚āļ™āđ‚āļŸāļ™āļīāļ

CREPE āđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļ­āļ­āļāđāļšāļšāļĄāļēāđ€āļžāļ·āđˆāļ­āđ€āļŠāļĩāļĒāļ‡āļ›āļĢāļ°āđ€āļ āļ—āđƒāļ”āđ€āļ›āđ‡āļ™āļŦāļĨāļąāļ

CREPE āļ›āļĢāļ°āļĄāļēāļ“āļĢāļ°āļ”āļąāļšāđ€āļŠāļĩāļĒāļ‡āļŠāļģāļŦāļĢāļąāļšāļŠāļąāļāļāļēāļ“āđ‚āļĄāđ‚āļ™āđ‚āļŸāļ™āļīāļ āđ€āļŠāđˆāļ™ āđ€āļŠāļĩāļĒāļ‡āđ€āļ”āļĩāļĒāļ§āļŦāļĢāļ·āļ­āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļ”āļ™āļ•āļĢāļĩāđ‚āļ‹āđ‚āļĨ

CREPE āļ§āļēāļ‡āļāļĢāļ­āļšāļ‡āļēāļ™āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāļžāļīāļ—āļŠāđŒāļ āļēāļĒāđƒāļ™āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

CREPE āđāļŠāļ”āļ‡āļœāļĨāļāļēāļĢāđāļˆāļāđāļˆāļ‡āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļšāļ™āļ–āļąāļ‡āļ‚āļ™āļēāļ” 360 āļžāļīāļ—āļŠāđŒ āđ‚āļ”āļĒāļ–āļ·āļ­āļ§āđˆāļēāļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāđ€āļ›āđ‡āļ™āļāļēāļĢāļˆāļąāļ”āļ›āļĢāļ°āđ€āļ āļ—

CREPE āđƒāļŠāđ‰āđ€āļ›āđ‡āļ™āļ‚āđ‰āļ­āļĄāļđāļĨāđ€āļ‚āđ‰āļēāđ‚āļ”āļĒāļ•āļĢāļ‡āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āļ•āđˆāļēāļ‡āļˆāļēāļāļ§āļīāļ˜āļĩāļāļēāļĢāļ—āļĩāđˆāđƒāļŠāđ‰āļŠāđ€āļ›āļāđ‚āļ•āļĢāđāļāļĢāļĄ CREPE āļ—āļģāļ‡āļēāļ™āļšāļ™āđ€āļŸāļĢāļĄāļĢāļđāļ›āļ„āļĨāļ·āđˆāļ™āļ”āļīāļšāļœāđˆāļēāļ™āđ€āļĨāđ€āļĒāļ­āļĢāđŒāđāļšāļšāļšāļīāļ”āđ€āļšāļĩāđ‰āļĒāļ§

āļ–āļąāļ‡āļžāļīāļ—āļŠāđŒāļ‚āļ­āļ‡ CREPE āļŦāđˆāļēāļ‡āļāļąāļ™āļ›āļĢāļ°āļĄāļēāļ“āđ€āļ—āđˆāļēāđƒāļ”

CREPE āđƒāļŠāđ‰ 360 bins āđ‚āļ”āļĒāđ€āļ§āđ‰āļ™āļĢāļ°āļĒāļ°āļŦāđˆāļēāļ‡āļāļąāļ™ 20 āđ€āļ‹āđ‡āļ™āļ•āđŒ āđƒāļŦāđ‰āļ„āļ§āļēāļĄāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ‚āļ­āļ‡āļ‹āļąāļšāđ€āļ‹āļĄāļīāđ‚āļ—āļ™āļ›āļĢāļ°āļĄāļēāļ“āļŦāļāļ­āđ‡āļ­āļāđ€āļ—āļŸ

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

TTS āļ—āļĩāđˆāļ„āļ§āļšāļ„āļļāļĄāļĢāļ°āļ”āļąāļšāđ€āļŠāļĩāļĒāļ‡āđ„āļ”āđ‰ FastPitch

āđ€āļŠāļĩāļĒāļ‡āđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →