LegközelebbKövetkező útmutató
Szimbolikus zenegeneráció
Hangalapú AI
Audio AI ÚTMUTATÓ
Az Automatic Music Transcription (AMT) a zene nyers hangfelvételét szimbolikus lejegyzésekké alakítja, például kottává, MIDI-vé vagy zongoratekercské.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Megoldja az audio AI egyik legnehezebb problémáját: sok egymást átfedő, egyszerre lejátszott hang kibogozását.
Az AMT rendszerek egy hanghullámot hallgatnak, és kiadják, hogy mely hangok szólalnak meg, mikor kezdődnek, mennyi ideig tartanak, és néha melyik hangszer játssza le őket. A fő kihívás a polifónia: amikor több hang szólal meg egyszerre, harmonikusaik átfedik egymást, és összemosódnak a frekvenciaspektrumban, így egyetlen C-t és G-t nehéz elválasztani egyetlen hangosabb hangtól. A modern rendszerek a hangot idő-frekvencia reprezentációvá alakítják át, például mel-spektrogrammá vagy Constant-Q Transform-má, majd mély neurális hálózatokat használnak a hangok kezdetének, eltolásának és hangmagasságának előrejelzésére. A Google Kezdők és keretek modellje mérföldkő volt a zongora átírásban, míg az újabb transzformátormodellek, például az MT3 több hangszert írnak át egyszerre.
AnthemScore és hasonló alkalmazások, amelyek MP3-felvételeket alakítanak át szerkeszthető kottává olyan zenészeknek, akik hallásról tanulnak dalokat
MIDI kinyerés egy zongorafelvételről, így a producer újra megszólaltathatja vagy kvantifikálhatja az előadást DAW-ban
Zenei oktatási eszközök, amelyek összehasonlítják a tanuló lejátszott hangjait a kottával, hogy megjelöljék a rossz vagy kihagyott hangokat
Zenetudósok, akik történelmi vagy rögtönzött felvételeket (például jazzszólókat) írnak le kottaírásba elemzés céljából
Az AMT a szólózongoráról a megbízható többhangszeres és teljes sávos átírás felé halad, beleértve a dobokat, az énekhangot és az olyan kifejező technikákat, mint a hajlítások és a vibrato. A nagy szintetikus és összehangolt adatkészletekre kiképzett transzformátor-architektúrák bezárják a szakadékot. Szorosabb integrációra számíthat a források szétválasztásával, valós idejű átírással az élő előadáshoz, valamint olyan eszközökkel, amelyek rögzítik a mikroidőzítést és a dinamikát, nem csak a jegyzeteket. A hosszú távú cél egy olyan rendszer, amely bármilyen felvételt szerkeszthető, ember által olvasható kottává alakít.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az Automatic Music Transcription (AMT) a zene nyers hangfelvételét szimbolikus lejegyzésekké alakítja, például kottává, MIDI-vé vagy zongoratekercské. Megoldja az audio AI egyik legnehezebb problémáját: sok, egyszerre lejátszott, egymást átfedő hangot felold.
Az AMT egy hangfelvételt szimbolikus jelöléssé alakít át, például MIDI-vé, zongoratekercské vagy a lejátszott hangokat leíró kottává.
Ha több hang egyszerre szólal meg, azok harmonikusai átfedik egymást, ami megnehezíti az egyes hangmagasságok elkülönítését.
A kezdetek és keretek egy fejet használtak a precíz hangkezdemények észlelésére, egy másikat pedig a tartós hangmagasságokra, a kezdetek kapuzták a keret kimenetét.
A zenei hangmagasságok logaritmikusan vannak elosztva (az oktávok dupla frekvenciájúak), és a CQT logaritmikus térközű rekeszei természetesen ehhez igazodnak.
A kezdés az az éles, energikus pillanat, amikor egy hang elkezdődik, amelyet könnyebb pontosan lokalizálni, mint fenntartani.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Szimbolikus zenegeneráció
Hangalapú AI