CREPE Odhad výšky tónu
CREPE je model hlubokého učení, který odhaduje základní frekvenci (výšku) monofonního zvukového signálu přímo z jeho surového tvaru vlny.
Přehled
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Hluboký ponor
CREPE (Convolutional Representation for Pitch Estimation), kterou v roce 2018 představili Kim, Salamon, Li a Bello, předpovídá výšku jednotónového (monofonního) zvuku, jako je zpívaný hlas nebo sólový nástroj. Na rozdíl od klasických algoritmů jako YIN nebo pYIN, které spoléhají na autokorelaci signálu, je CREPE hluboká konvoluční neuronová síť trénovaná přímo na audio rámcích v časové doméně. Zahrnuje odhad výšky tónu jako klasifikační problém: vytváří rozdělení pravděpodobnosti přes 360 přihrádek rozteče pokrývajících zhruba šest oktáv, každou 20 centů od sebe. Přihrádka s nejvyšší aktivací, upřesněná místním váženým průměrem, udává odhadovanou frekvenci plus skóre spolehlivosti. CREPE se ukázal jako výrazně robustnější než metody zpracování signálu, zejména při šumu, a je nyní standardní součástí mnoha kanálů pro analýzu hudby a řeči.
Technický přehled
CREPE vezme 1024-samplový zvukový snímek a projde jej šesti naskládanými konvolučními vrstvami, které končí 360-jednotkovou výstupní vrstvou s esovitou aktivací. Každá jednotka odpovídá přihrádce rozteče umístěné 20 centů od sebe přes asi šest oktáv. Síť je trénována s binární křížovou entropií proti Gaussově rozmazanému cíli se středem ve skutečné výšce. Na závěr je předpovězená frekvence místním váženým průměrem aktivací kolem píku a výška píku slouží jako hodnota spolehlivosti.
Strategický dopad
Přístup a dosah
Zlepšuje dostupnost prostřednictvím přepisu, vyprávění a hlasových rozhraní.
Cena a rozpočet
Mediální týmy mohou dodávat vylepšený zvuk rychleji s menšími rozpočty.
Rychlost a měřítko
Systémy orientované na zákazníky mohou zpracovávat mluvené interakce ve větším měřítku.
Budoucnost CREPE Pitch Estimation
Odhad výšky se posouvá ke společným modelům, které zvládají polyfonii (více simultánních tónů), nižší latenci pro ladění v reálném čase a automatickou harmonii a menší destilované sítě, které běží na telefonech a vestavěných zařízeních. Výstupy důvěry CREPE jsou stále více využívány v navazujících úlohách, jako je automatický přepis, korekce hlasu a expresivní analýza výkonu. Samokontrolované a víceúlohové přístupy, které se učí výšku tónu spolu se zabarvením a artikulací, pravděpodobně rozšíří přesnost ve stylu CREPE za čistý monofonní zvuk.
Real-World Implementace
Sledování tónu zpěváka pro zpětnou vazbu ladění v reálném čase v aplikacích pro trénink vokálů
Řízení nástrojů pro automatické ladění a korekci výšky tónu s přesnými křivkami základní frekvence
Přepis melodií sólového nástroje do MIDI nebo not
Analýza intonace a vibrata v hudební výchově a výzkumu výkonu
Rizika a zábradlí
Pokud chybí souhlas, zvyšuje se riziko zneužití hlasu a předstírání jiné identity.
Přesnost může klesat v přízvuku, dialektech nebo hlučném prostředí.
Syntetický zvuk lze bez jasného označení zaměnit za autentickou řeč.
Plán implementace
Získejte výslovný souhlas se zachycením hlasu, klonováním a opětovným použitím.
Otestujte kvalitu napříč různými reproduktory a podmínkami pozadí.
Definujte, kdy musí člověk zkontrolovat nebo schválit výstupy.
Označte syntetický zvuk a veďte záznamy o původu pro zajištění odpovědnosti.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
FastPitch TTS s ovladatelným roztečí
Často kladené otázky
What is CREPE Pitch Estimation?
CREPE je model hlubokého učení, který odhaduje základní frekvenci (výšku) monofonního zvukového signálu přímo z jeho surového tvaru vlny. Stanovuje nový standard přesnosti pro sledování výšky tónu, zejména u hlučných nebo obtížných nahrávek.
Co CREPE odhaduje ze zvukového signálu?
CREPE předpovídá základní frekvenci, tj. vnímanou výšku, monofonního zvuku.
CREPE je určen především pro jaký druh audia?
CREPE odhaduje výšku tónu pro monofonní signály, jako je jeden hlas nebo sólový nástroj.
Jak CREPE interně rámuje úlohu odhadu výšky tónu?
CREPE poskytuje distribuci pravděpodobnosti přes 360 přihrádek, přičemž odhad považuje za klasifikaci.
Co CREPE bere jako svůj přímý vstup?
Na rozdíl od metod založených na spektrogramech pracuje CREPE na surových rámech tvaru vlny přes konvoluční vrstvy.
Jak daleko jsou přibližně od sebe přihrádky CREPE?
CREPE používá 360 přihrádek rozmístěných 20 centů od sebe, což dává sub-půltónové rozlišení přes asi šest oktáv.