CREPE Pitch estimering
CREPE er en dyplæringsmodell som estimerer den grunnleggende frekvensen (pitch) til et monofonisk lydsignal direkte fra dens rå bølgeform.
Oversikt
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Dypdykk
CREPE (Convolutional Representation for Pitch Estimation), introdusert i 2018 av Kim, Salamon, Li og Bello, forutsier tonehøyden til enkelttone (monofonisk) lyd som en sunget stemme eller soloinstrument. I motsetning til klassiske algoritmer som YIN eller pYIN som er avhengige av autokorrelasjon av signalet, er CREPE et dypt konvolusjonelt nevralt nettverk trent direkte på lydrammer i tidsdomene. Den rammer inn tonehøydeestimering som et klassifiseringsproblem: den gir ut en sannsynlighetsfordeling over 360 tonehøyder som strekker seg over omtrent seks oktaver, hver med 20 cents mellomrom. Bingen med høyest aktivering, raffinert med et lokalt vektet gjennomsnitt, gir den estimerte frekvensen pluss en konfidensscore. CREPE viste seg markant mer robust enn signalbehandlingsmetoder, spesielt under støy, og er nå en standardkomponent i mange musikk- og taleanalyserørledninger.
Teknisk innsikt
CREPE tar en 1024-sample lydramme og sender den gjennom seks stablede konvolusjonslag, og ender i et 360-enheters utgangslag med sigmoid-aktiveringer. Hver enhet tilsvarer en tonehøydebeholder med 20 cents mellomrom over omtrent seks oktaver. Nettverket trenes med binær kryssentropi mot et gaussisk uskarpt mål sentrert på den sanne tonehøyden. Ved inferens er den forutsagte frekvensen det lokale vektede gjennomsnittet av aktiveringer rundt toppbeholderen, og topphøyden fungerer som en konfidensverdi.
Strategisk innvirkning
Access and reach
Det forbedrer tilgjengeligheten gjennom transkripsjon, fortellerstemme og stemmegrensesnitt.
Cost and budget
Medieteam kan sende polert lyd raskere med mindre budsjetter.
Speed and scale
Kundevendte systemer kan behandle talte interaksjoner i større skala.
Fremtiden til CREPE Pitch Estimation
Pitch-estimering beveger seg mot fellesmodeller som håndterer polyfoni (flere samtidige toner), lavere ventetid for sanntidsinnstilling og autoharmoni, og mindre destillerte nettverk som kjører på telefoner og innebygde enheter. CREPEs konfidensutganger mates i økende grad inn i nedstrømsoppgaver som automatisk transkripsjon, vokalkorreksjon og ekspressiv ytelsesanalyse. Selvstyrte og multitask-tilnærminger som lærer tonehøyde sammen med klang og artikulasjon vil sannsynligvis utvide CREPE-stilnøyaktigheten utover ren monofonisk lyd.
Real-World Implementering
Sporing av en sangers tonehøyde for tuning i sanntid i apper for vokaltrening
Driver verktøy for automatisk justering og tonehøydekorrigering med nøyaktige kurver for fundamental frekvens
Transkribere soloinstrumentmelodier til MIDI eller noter
Analysere intonasjon og vibrato i musikkundervisning og fremføringsforskning
Risikoer og rekkverk
Risikoen for stemmemisbruk og etterligning øker når samtykke mangler.
Nøyaktigheten kan falle på tvers av aksenter, dialekter eller støyende omgivelser.
Syntetisk lyd kan forveksles med autentisk tale uten tydelig merking.
Veikart for implementering
Innhent eksplisitt samtykke for stemmefangst, kloning og gjenbruk.
Test kvalitet på tvers av forskjellige høyttalere og bakgrunnsforhold.
Definer når et menneske må gjennomgå eller godkjenne utdata.
Merk syntetisk lyd og oppbevar herkomstregistreringer for ansvarlighet.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
FastPitch Pitch-kontrollerbar TTS
Ofte stilte spørsmål
What is CREPE Pitch Estimation?
CREPE er en dyplæringsmodell som estimerer den grunnleggende frekvensen (pitch) til et monofonisk lydsignal direkte fra dens rå bølgeform. Den satte en ny nøyaktighetsstandard for tonehøydesporing, spesielt på støyende eller vanskelige opptak.
Hva estimerer CREPE fra et lydsignal?
CREPE forutsier grunnfrekvensen, dvs. den oppfattede tonehøyden, til monofonisk lyd.
CREPE er først og fremst designet for hva slags lyd?
CREPE estimerer tonehøyde for monofoniske signaler som en enkelt stemme eller soloinstrument.
Hvordan rammer CREPE inn pitch-estimeringsoppgaven internt?
CREPE gir ut en sannsynlighetsfordeling over 360 pitch bins, og behandler estimering som klassifisering.
Hva tar CREPE som sin direkte input?
I motsetning til spektrogrambaserte metoder, opererer CREPE på rå bølgeformrammer gjennom konvolusjonslag.
Omtrent hvor langt fra hverandre er CREPEs pitch bins?
CREPE bruker 360 hyller med en avstand på 20 cent fra hverandre, noe som gir underhalvtoneoppløsning over omtrent seks oktaver.