Audio AI ÚTMUTATÓ

Automatikus zenei átírás

Az Automatic Music Transcription (AMT) a zene nyers hangfelvételét szimbolikus lejegyzésekké alakítja, például kottává, MIDI-vé vagy zongoratekercské.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az automatikus zeneátírás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Megoldja az audio AI egyik legnehezebb problémáját: sok egymást átfedő, egyszerre lejátszott hang kibogozását.

Mély merülés

Az AMT rendszerek egy hanghullámot hallgatnak, és kiadják, hogy mely hangok szólalnak meg, mikor kezdődnek, mennyi ideig tartanak, és néha melyik hangszer játssza le őket. A fő kihívás a polifónia: amikor több hang szólal meg egyszerre, harmonikusaik átfedik egymást, és összemosódnak a frekvenciaspektrumban, így egyetlen C-t és G-t nehéz elválasztani egyetlen hangosabb hangtól. A modern rendszerek a hangot idő-frekvencia reprezentációvá alakítják át, például mel-spektrogrammá vagy Constant-Q Transform-má, majd mély neurális hálózatokat használnak a hangok kezdetének, eltolásának és hangmagasságának előrejelzésére. A Google Kezdők és keretek modellje mérföldkő volt a zongora átírásban, míg az újabb transzformátormodellek, például az MT3 több hangszert írnak át egyszerre.

Valós megvalósítás

AnthemScore és hasonló alkalmazások, amelyek MP3-felvételeket alakítanak át szerkeszthető kottává olyan zenészeknek, akik hallásról tanulnak dalokat

MIDI kinyerés egy zongorafelvételről, így a producer újra megszólaltathatja vagy kvantifikálhatja az előadást DAW-ban

Zenei oktatási eszközök, amelyek összehasonlítják a tanuló lejátszott hangjait a kottával, hogy megjelöljék a rossz vagy kihagyott hangokat

Zenetudósok, akik történelmi vagy rögtönzött felvételeket (például jazzszólókat) írnak le kottaírásba elemzés céljából

Az automatikus zeneátírás jövője

Az AMT a szólózongoráról a megbízható többhangszeres és teljes sávos átírás felé halad, beleértve a dobokat, az énekhangot és az olyan kifejező technikákat, mint a hajlítások és a vibrato. A nagy szintetikus és összehangolt adatkészletekre kiképzett transzformátor-architektúrák bezárják a szakadékot. Szorosabb integrációra számíthat a források szétválasztásával, valós idejű átírással az élő előadáshoz, valamint olyan eszközökkel, amelyek rögzítik a mikroidőzítést és a dinamikát, nem csak a jegyzeteket. A hosszú távú cél egy olyan rendszer, amely bármilyen felvételt szerkeszthető, ember által olvasható kottává alakít.

A gyakorlatba ültetés

Miért számít

  • Hozzáférés és elérés. Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
  • Költség és költségvetés. A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
  • Sebesség és méretarány. Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.

Vigyázz

  • A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
  • A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
  • A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.

Következő lépések

  1. Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
  2. Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
  3. Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
  4. Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Automatic Music Transcription quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az automatikus zeneátírás?

Az Automatic Music Transcription (AMT) a zene nyers hangfelvételét szimbolikus lejegyzésekké alakítja, például kottává, MIDI-vé vagy zongoratekercské. Megoldja az audio AI egyik legnehezebb problémáját: sok, egyszerre lejátszott, egymást átfedő hangot felold.

Mit ad ki elsősorban az automatikus zeneátírás?

Az AMT egy hangfelvételt szimbolikus jelöléssé alakít át, például MIDI-vé, zongoratekercské vagy a lejátszott hangokat leíró kottává.

Miért különösen nehéz a többszólamú zenét átírni?

Ha több hang egyszerre szólal meg, azok harmonikusai átfedik egymást, ami megnehezíti az egyes hangmagasságok elkülönítését.

Mi volt a figyelemre méltó Google Kezdők és keretek modelljében?

A kezdetek és keretek egy fejet használtak a precíz hangkezdemények észlelésére, egy másikat pedig a tartós hangmagasságokra, a kezdetek kapuzták a keret kimenetét.

Miért hasznos a Constant-Q Transform a zenéhez?

A zenei hangmagasságok logaritmikusan vannak elosztva (az oktávok dupla frekvenciájúak), és a CQT logaritmikus térközű rekeszei természetesen ehhez igazodnak.

Mit jelent a „kezdet” az átírásban?

A kezdés az az éles, energikus pillanat, amikor egy hang elkezdődik, amelyet könnyebb pontosan lokalizálni, mint fenntartani.