DalšíDalší průvodce
Symbolická hudební generace
Zvuková AI
Zvukový průvodce AI
Automatic Music Transscription (AMT) převádí nezpracovaný zvukový záznam hudby do symbolického zápisu, jako je notový záznam, MIDI nebo piano roll.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It tackles one of the hardest problems in audio AI: untangling many overlapping notes played at once.
Systémy AMT poslouchají zvukový průběh a vydávají, které tóny jsou hrány, kdy začínají, jak dlouho trvají a někdy, který nástroj je hraje. Základní výzvou je polyfonie: když zní několik tónů současně, jejich harmonické se překrývají a rozmazávají ve frekvenčním spektru, takže jedno C a G může být těžké oddělit od jediného hlasitějšího tónu. Moderní systémy převádějí zvuk do časově-frekvenční reprezentace, jako je mel-spektrogram nebo Constant-Q Transform, a poté používají hluboké neuronové sítě k předpovídání nástupů, posunů a výšek tónů. Model Onsets and Frames společnosti Google byl mezníkem pro přepis klavíru, zatímco novější modely transformátorů jako MT3 přepisují více nástrojů najednou.
AnthemScore a podobné aplikace převádějící nahrávky MP3 na upravitelné noty pro hudebníky, kteří se učí písničky podle sluchu
MIDI extrakce z klavírní nahrávky, takže producent může přehlasovat nebo kvantizovat výkon v DAW
Nástroje hudební výchovy, které porovnávají zahrané noty studenta s partiturou, aby označily chybné nebo vynechané noty
Muzikologové přepisující historické nebo improvizované nahrávky (jako jazzová sóla) do notového zápisu pro analýzu
AMT se posouvá od sólového piana ke spolehlivé multinástrojové a celopásmové transkripci, včetně bicích, zpěvu a výrazových technik, jako jsou ohyby a vibrato. Architektury transformátorů vyškolené na velkých syntetických a zarovnaných souborech dat zacelují mezeru. Očekávejte těsnější integraci s oddělením zdroje, přepis v reálném čase pro živé hraní a nástroje, které zachycují mikro-časování a dynamiku, nejen poznámky. Dlouhodobým cílem je systém, který promění jakoukoli nahrávku na upravitelné, člověkem čitelné skóre.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Automatic Music Transscription (AMT) převádí nezpracovaný zvukový záznam hudby do symbolického zápisu, jako je notový záznam, MIDI nebo piano roll. Řeší jeden z nejtěžších problémů ve zvukové umělé inteligenci: rozmotání mnoha překrývajících se not hraných najednou.
AMT převádí zvukovou nahrávku do symbolické notace, jako je MIDI, piano roll nebo noty popisující hrané noty.
Když zní více not najednou, jejich harmonické se překrývají, takže je obtížné oddělit, které jednotlivé výšky jsou přítomny.
Nástupy a rámce používaly jednu hlavu k detekci přesných nástupů tónů a další pro trvalé tóny, přičemž nástupy určovaly výstup rámce.
Hudební výšky jsou rozmístěny logaritmicky (oktávy dvojnásobné frekvence) a logaritmicky rozmístěné přihrádky CQT se s tím přirozeně vyrovnávají.
Nástup je ostrý, energický okamžik, kdy začíná tón, který je snazší přesně lokalizovat než jeho sustain.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Symbolická hudební generace
Zvuková AI