NastępnyNastępny poradnik
Symboliczne pokolenie muzyki
Dźwiękowa sztuczna inteligencja
PRZEWODNIK AI audio
Automatyczna transkrypcja muzyki
Automatyczna transkrypcja muzyki (AMT) przekształca surowe nagranie audio muzyki w zapis symboliczny, taki jak nuty, MIDI lub rolka fortepianu.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Rozwiązuje jeden z najtrudniejszych problemów sztucznej inteligencji audio: rozplątanie wielu nakładających się nut granych jednocześnie.
Głębokie nurkowanie
Systemy AMT nasłuchują kształtu fali audio i wysyłają informację, jakie nuty są odtwarzane, kiedy się rozpoczynają, jak długo trwają, a czasami także na jakim instrumencie je gra. Podstawowym wyzwaniem jest polifonia: gdy kilka nut brzmi jednocześnie, ich harmoniczne nakładają się i rozmywają w widmie częstotliwości, więc pojedyncze C i G mogą być trudne do oddzielenia od pojedynczej głośniejszej nuty. Nowoczesne systemy konwertują dźwięk na reprezentację czasowo-częstotliwościową, taką jak spektrogram mel lub transformacja Constant-Q, a następnie wykorzystują głębokie sieci neuronowe do przewidywania początków, przesunięć i wysokości nut. Model Onsets and Frames firmy Google był przełomem w transkrypcji fortepianów, podczas gdy nowsze modele transformatorów, takie jak MT3, umożliwiają transkrypcję wielu instrumentów jednocześnie.
Implementacja w świecie rzeczywistym
AnthemScore i podobne aplikacje konwertujące nagrania MP3 na edytowalne nuty dla muzyków uczących się piosenek ze słuchu
Ekstrakcja MIDI z nagrania fortepianu, dzięki czemu producent może zmienić brzmienie lub kwantyzować wykonanie w DAW
Narzędzia do edukacji muzycznej, które porównują nuty grane przez ucznia z partyturą, aby wskazać błędne lub pominięte nuty
Muzykolodzy przepisując nagrania historyczne lub improwizowane (takie jak solówki jazzowe) na zapis w celu analizy
Przyszłość automatycznej transkrypcji muzyki
AMT przechodzi od fortepianu solowego w stronę niezawodnej transkrypcji wieloinstrumentalnej i pełnopasmowej, w tym perkusji, wokalu i technik ekspresyjnych, takich jak zakręty i vibrato. Architektury transformatorów wyszkolone na dużych syntetycznych i wyrównanych zbiorach danych wypełniają tę lukę. Oczekuj ściślejszej integracji z separacją źródeł, transkrypcją w czasie rzeczywistym podczas występów na żywo oraz narzędziami, które rejestrują mikrotiming i dynamikę, a nie tylko nuty. Celem długoterminowym jest system, który zamieni dowolne nagranie w edytowalną, czytelną dla człowieka partyturę.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Dostęp i zasięg. Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
- Koszt i budżet. Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
- Szybkość i skala. Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Uważaj na
- W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
- Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
- Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Kolejne kroki
- Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
- Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
- Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
- Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Automatic Music Transcription quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest automatyczna transkrypcja muzyki?
Automatyczna transkrypcja muzyki (AMT) przekształca surowe nagranie audio muzyki w zapis symboliczny, taki jak nuty, MIDI lub rolka fortepianu. Rozwiązuje jeden z najtrudniejszych problemów sztucznej inteligencji audio: rozplątanie wielu nakładających się nut granych jednocześnie.
Co przede wszystkim generuje automatyczna transkrypcja muzyki?
AMT konwertuje nagranie audio na zapis symboliczny, taki jak MIDI, rolka fortepianu lub nuty opisujące grane nuty.
Dlaczego transkrypcja muzyki polifonicznej jest szczególnie trudna?
Kiedy jednocześnie brzmi wiele nut, ich harmonie nakładają się na siebie, co utrudnia oddzielenie poszczególnych tonów.
Co było godnego uwagi w modelu Początków i Ramek Google?
W funkcjach Onsets i Frames jedna głowica umożliwiała wykrywanie precyzyjnych początków nut, a druga – utrzymywanie wysokich tonów, przy czym nastawienia sterowały sygnałem wyjściowym klatki.
Dlaczego transformacja Constant-Q jest przydatna w muzyce?
Wysokość tonów muzycznych jest rozmieszczona logarytmicznie (oktawy mają podwójną częstotliwość), a przedziały CQT z odstępami logarytmicznymi są naturalnie do tego dopasowane.
Do czego odnosi się „początek” w transkrypcji?
Początek to ostry, energiczny moment, w którym rozpoczyna się nuta, który jest łatwiejszy do precyzyjnego zlokalizowania niż jego podtrzymanie.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat