KREPE hangmagasság becslés
A CREPE egy mély tanulási modell, amely a monofonikus audiojel alapfrekvenciáját (hangmagasságát) közvetlenül annak nyers hullámformájából becsüli meg.
Áttekintés
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Mély merülés
A Kim, Salamon, Li és Bello által 2018-ban bevezetett CREPE (Convolutional Representation for Pitch Estimation) előrejelzi az egyhangú (monofonikus) hangmagasságot, mint például egy énekhang vagy szólóhangszer. Ellentétben a klasszikus algoritmusokkal, mint például a YIN vagy a pYIN, amelyek a jel autokorrelációjára támaszkodnak, a CREPE egy mély konvolúciós neurális hálózat, amelyet közvetlenül az időtartomány hangkereteire tanítanak. A hangmagasság-becslést osztályozási problémaként fogalmazza meg: 360 hangmagasság-rekeszre vonatkozó valószínűségi eloszlást ad ki, amelyek nagyjából hat oktávra terjednek ki, mindegyik 20 centes különbséggel. A legmagasabb aktiválással rendelkező, helyi súlyozott átlaggal finomított tároló megadja a becsült gyakoriságot plusz egy megbízhatósági pontszámot. A CREPE jelentősen robusztusabbnak bizonyult, mint a jelfeldolgozási módszerek, különösen zaj esetén, és ma már számos zenei és beszédelemző csővezeték szabványos eleme.
Technikai betekintés
A CREPE egy 1024 mintás hangkockát vesz fel, és hat egymásra helyezett konvolúciós rétegen halad keresztül, és egy 360 egységből álló kimeneti rétegben végződik szigmoid aktiválással. Mindegyik egység egy hangmagasság-tárolónak felel meg, amelyek egymástól 20 centes távolságra vannak körülbelül hat oktávon. A hálózat bináris keresztentrópiával van kiképezve egy Gauss-elmosódott célponttal szemben, amelynek középpontja a valódi hangmagasságon van. Következtetéskor a becsült gyakoriság a csúcstartó körüli aktiválások lokális súlyozott átlaga, és a csúcsmagasság konfidencia értékként szolgál.
Stratégiai hatás
Hozzáférés és elérés
Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
Költség és költségvetés
A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
Sebesség és méretarány
Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.
A CREPE hangmagasság-becslés jövője
A hangmagasság becslése a többszólamúságot (több egyidejű hangot) kezelő közös modellek felé halad, a valós idejű hangolás és az automatikus harmónia alacsonyabb késleltetése, valamint a telefonokon és beágyazott eszközökön futó kisebb desztillált hálózatok felé halad. A CREPE bizalomteljesítményeit egyre inkább beépítik az olyan downstream feladatokba, mint az automatikus átírás, a hangkorrekció és a kifejező teljesítményelemzés. Az önfelügyelt és többfeladatos megközelítések, amelyek a hangmagasságot a hangszín és az artikuláció mellett tanulják meg, valószínűleg kiterjesztik a CREPE-stílusú pontosságot a tiszta monofonikus hangzáson túl.
Valós megvalósítás
Az énekes hangmagasságának nyomon követése valós idejű hangolási visszajelzéshez az énekedző alkalmazásokban
Automatikus hangolási és hangmagasság-korrekciós eszközök használata pontos alapfrekvencia görbékkel
Szólóhangszer dallamok átírása MIDI-be vagy kottába
Az intonáció és a vibrato elemzése a zeneoktatásban és az előadáskutatásban
Kockázatok és védőkorlátok
A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.
Végrehajtási ütemterv
Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
FastPitch hangmagasság-vezérelhető TTS
Gyakran ismételt kérdések
What is CREPE Pitch Estimation?
A CREPE egy mély tanulási modell, amely a monofonikus audiojel alapfrekvenciáját (hangmagasságát) közvetlenül annak nyers hullámformájából becsüli meg. Új pontossági szabványt állított fel a hangmagasság követésében, különösen zajos vagy nehéz felvételeknél.
Mit becsül a CREPE egy audiojelből?
A CREPE előrejelzi a monofonikus hang alapfrekvenciáját, azaz az észlelt hangmagasságot.
A CREPE elsősorban milyen hanghoz készült?
A CREPE megbecsüli a hangmagasságot az egyszólamú jelek, például az egyszólamú vagy szólóhangszer esetében.
Hogyan keretezi a CREPE a hangmagasság-becslési feladatot belsőleg?
A CREPE valószínűségi eloszlást ad ki 360 pitch bin felett, és a becslést osztályozásként kezeli.
Mit vesz a CREPE közvetlen bemenetének?
A spektrogram alapú módszerekkel ellentétben a CREPE nyers hullámforma kereteken működik konvolúciós rétegeken keresztül.
Körülbelül milyen távolságra vannak egymástól a CREPE szuroktartályai?
A CREPE 360 tálcát használ egymástól 20 centes távolságban, így körülbelül hat oktávon félhang alatti felbontást biztosít.