Символично музикално поколение
Генерирането на символична музика създава музика като структурирана нотация — ноти, височини, времетраене и тайминг (често като MIDI) — вместо като необработено аудио.
Преглед
Генерирането на символична музика създава музика като структурирана нотация — ноти, височини, времетраене и тайминг (често като MIDI) — вместо като необработено аудио. Той дава на композиторите възможност за редактиране, независими от инструменти изходни данни, които те могат да променят нота по нота.
Symbolic Music Generation се намира в аудио-AI работни потоци, които трансформират реч, музика и звук за комуникация, достъпност и медийно производство.
Дълбоко гмуркане
Вместо да произвеждат завършена форма на вълната, символните системи генерират „партитурата“: последователности от ноти с височина, продължителност, скорост и синхронизиране, обикновено в MIDI или форма на пиано. Тъй като изходът е символичен, той е напълно редактиран - можете да промените една нота, да размените инструменти, да транспонирате клавиши или да я предадете на човек-изпълнител. Забележителните проекти включват MelodyRNN и MusicVAE на Google Magenta, MuseNet (2019) на OpenAI, който генерира многоинструментални композиции в много стилове, и работата на Anticipatory Music Transformer. Компромисът спрямо инструментите за необработен звук като Suno е, че символичните модели не произвеждат действителния звук или реалистични вокали; имат нужда от синтезатор или семплер, за да бъдат чути. Но те предлагат прецизност, контролируемост и малки, бързи изображения.
Техническа информация
Тези модели третират музиката като език: бележките (или нотни събития като „включване на нота“, „изключване на нота“, отместване на времето) се превръщат в токени и модел на последователност – исторически RNN/LSTM, сега обикновено Трансформатор – предсказва следващото събитие. Някои използват VAE, за да научат гладко латентно пространство, така че да можете да интерполирате между мелодиите. Тъй като символната последователност е хиляди пъти по-къса от необработената форма на вълната, тези модели се обучават и генерират много по-бързо от аудио моделите и техният изход може директно да се редактира във всеки софтуер за нотиране.
Овладяване на генерирането на символна музика
За да изградите дълбоко разбиране, третирайте Symbolic Music Generation като оперативен модел, а не като отделна функция. Дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силните екипи, използващи Symbolic Music Generation, третират качеството, латентността и съгласието като еднакво важни части от стратегията за внедряване. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас. В същото време рисковете от злоупотреба с глас и имитация се увеличават, когато липсва съгласие. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас.
Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Медийните екипи могат да доставят изпипано аудио по-бързо с по-малки бюджети.
Медийните екипи могат да доставят изпипано аудио по-бързо с по-малки бюджети. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Системите, насочени към клиента, могат да обработват устни взаимодействия в по-голям мащаб.
Системите, насочени към клиента, могат да обработват устни взаимодействия в по-голям мащаб. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Композитор, използващ Google Magenta инструменти за генериране на идеи за мелодия или хармония, след което редактира нота по нота в DAW.
Студио за игри, генериращо процедурно MIDI фонова музика, която се адаптира към играта и се изобразява с всеки набор от инструменти.
Музикално-образователен софтуер, генериращ автоматично практически упражнения и акомпанимент в избрана тоналност и трудност.
Продуцент, използващ модели в стил MuseNet, за да изготви многоинструментални аранжименти в различни жанрове, след което ги прецизира и реоркестрира.
Модели на изпълнение
Генериране на символична музика на практика
Композитор, използващ Google Magenta инструменти за генериране на идеи за мелодия или хармония, след което редактира нота по нота в DAW.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Генериране на символична музика на практика
Студио за игри, генериращо процедурно MIDI фонова музика, която се адаптира към играта и се изобразява с всеки набор от инструменти.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Генериране на символична музика на практика
Музикално-образователен софтуер, генериращ автоматично практически упражнения и акомпанимент в избрана тоналност и трудност.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Генериране на символична музика на практика
Продуцент, използващ модели в стил MuseNet, за да изготви многоинструментални аранжименти в различни жанрове, след което ги прецизира и реоркестрира.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Рисковете от злоупотреба с глас и имитация се увеличават, когато липсва съгласие.
Точността може да спадне при акценти, диалекти или шумна среда.
Синтетичното аудио може да бъде сбъркано с автентична реч без ясно етикетиране.
Пътна карта за изпълнение
Получете изрично съгласие за улавяне на глас, клониране и повторно използване.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Тествайте качеството при различни високоговорители и фонови условия.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Определете кога човек трябва да прегледа или одобри резултатите.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Етикетирайте синтетичното аудио и поддържайте записи за произход за отчетност.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Продължете да изследвате
Check your understanding
Test yourself: take the Symbolic Music Generation quiz