CREPE Pitch uppskattning
CREPE är en djupinlärningsmodell som uppskattar grundfrekvensen (pitch) för en monofonisk ljudsignal direkt från dess råa vågform.
Översikt
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Djupdykning
CREPE (Convolutional Representation for Pitch Estimation), som introducerades 2018 av Kim, Salamon, Li och Bello, förutsäger tonhöjden för entonsljud (monofoniskt) såsom en sjungen röst eller soloinstrument. Till skillnad från klassiska algoritmer som YIN eller pYIN som förlitar sig på autokorrelation av signalen, är CREPE ett djupt konvolutionellt neuralt nätverk som tränas direkt på tidsdomänens ljudramar. Den framställer tonhöjdsuppskattning som ett klassificeringsproblem: den ger en sannolikhetsfördelning över 360 tonhöjdsfack som spänner över ungefär sex oktaver, var och en med 20 cents mellanrum. Facket med högst aktivering, förfinat med ett lokalt vägt medelvärde, ger den uppskattade frekvensen plus ett konfidenspoäng. CREPE visade sig vara betydligt mer robust än signalbehandlingsmetoder, särskilt under brus, och är nu en standardkomponent i många musik- och talanalyspipelines.
Teknisk insikt
CREPE tar en ljudram med 1024 sampel och skickar den genom sex staplade faltningslager, som slutar i ett 360-enheters utdatalager med sigmoidaktiveringar. Varje enhet motsvarar en tonhöjdslåda med 20 cents mellanrum över cirka sex oktaver. Nätverket tränas med binär korsentropi mot ett Gaussiskt suddigt mål centrerat på den sanna tonhöjden. Vid slutledning är den förutsagda frekvensen det lokala vägda medelvärdet av aktiveringarna runt toppfacket, och topphöjden fungerar som ett konfidensvärde.
Strategisk inverkan
Access and reach
Det förbättrar tillgängligheten genom transkription, berättarröst och röstgränssnitt.
Cost and budget
Medieteam kan skicka polerat ljud snabbare med mindre budgetar.
Speed and scale
Kundvända system kan behandla talade interaktioner i större skala.
Framtiden för CREPE Pitch Estimation
Pitch-uppskattning går mot gemensamma modeller som hanterar polyfoni (flera samtidiga toner), lägre latens för realtidsjustering och autoharmoni, och mindre destillerade nätverk som körs på telefoner och inbäddade enheter. CREPEs konfidensresultat matas i allt större utsträckning till nedströmsuppgifter som automatisk transkription, röstkorrigering och uttrycksfull prestationsanalys. Självövervakade och multitask-metoder som lär sig tonhöjd tillsammans med klang och artikulation kommer sannolikt att utöka noggrannheten i CREPE-stil bortom rent monofoniskt ljud.
Real-World Implementation
Spåra en sångares tonhöjd för stämningsfeedback i realtid i appar för sångträning
Driver verktyg för automatisk justering och tonhöjdskorrigering med exakta grundfrekvenskurvor
Transkribera soloinstrumentmelodier till MIDI eller noter
Analysera intonation och vibrato i musikutbildning och performanceforskning
Risker & skyddsräcken
Riskerna för missbruk av röst och personifiering ökar när samtycke saknas.
Noggrannheten kan sjunka över accenter, dialekter eller bullriga miljöer.
Syntetiskt ljud kan misstas för autentiskt tal utan tydlig märkning.
Färdplan för genomförande
Skaffa uttryckligt samtycke för röstinfångning, kloning och återanvändning.
Testa kvalitet över olika högtalare och bakgrundsförhållanden.
Definiera när en människa måste granska eller godkänna utdata.
Märk syntetiskt ljud och håll härkomstregister för ansvarstagande.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
FastPitch Pitch-kontrollerbar TTS
Frequently asked questions
What is CREPE Pitch Estimation?
CREPE är en djupinlärningsmodell som uppskattar grundfrekvensen (pitch) för en monofonisk ljudsignal direkt från dess råa vågform. Den satte en ny noggrannhetsstandard för tonhöjdsspårning, särskilt på bullriga eller svåra inspelningar.
Vad uppskattar CREPE från en ljudsignal?
CREPE förutsäger grundfrekvensen, d.v.s. den upplevda tonhöjden, för monofoniskt ljud.
CREPE är främst designad för vilken typ av ljud?
CREPE uppskattar tonhöjden för monofoniska signaler som en enstaka röst eller soloinstrument.
Hur ramar CREPE in pitch-uppskattningsuppgiften internt?
CREPE matar ut en sannolikhetsfördelning över 360 tonhöjdsfack, och behandlar uppskattning som klassificering.
Vad tar CREPE som sin direkta input?
Till skillnad från spektrogrambaserade metoder, arbetar CREPE på råa vågformsramar genom faltningslager.
Ungefär hur långt ifrån varandra är CREPEs pitch bins?
CREPE använder 360 fack placerade med 20 cents mellanrum, vilket ger upplösning i halvtoner över cirka sex oktaver.