DalšíDalší průvodce
Band-Split RoFormer pro hudební oddělení
Zvuková AI
Zvukový průvodce AI
AI music extension využívá generativní model k pokračování existujícího zvukového klipu, regeneraci sekce uprostřed (malba), změně stylu nebo přidání a nahrazení jednotlivých stopek nástroje.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Umožňuje krátký nápad přerůst v celou skladbu nebo opravit chybný záběr bez opětovného nahrávání. Záleží na tom, protože to mění způsob, jakým lidé navrhují a upravují hudbu, ale má jasné limity kvality a neodstraňuje práva toho, kdo vlastní původní zvuk.
Rozšíření vezme existující klip a vygeneruje to, co bude následovat. Jedním z běžných přístupů je autoregresivní pokračování. MusicGen od Meta, vydaný v roce 2023 jako součást AudioCraft, převádí zvuk na diskrétní tokeny pomocí neurálního kodeku zvaného EnCodec a předpovídá další tokeny po těch, které dodáte, podobně jako jazykový model pokračuje ve větě. Spotřebitelské služby, jako jsou Suno a Udio, to nabízejí jako funkci Rozšíření, obvykle vám umožní vybrat počáteční bod a změnit text nebo styl nové sekce. Inpainting regeneruje maskovanou oblast uprostřed při zachování zvuku na obou stranách, což je užitečné pro opravu textu nebo nahrazení čtyř taktů. Difúzní modely tomu vyhovují, protože známý zvuk může být držen pevně, zatímco je odšumováno pouze maskované rozpětí. Režimy audio-to-audio nebo remix, jako je ten Stability AI představený se Stable Audio 2.0 v roce 2024, částečně přidávají šum do vstupu a regenerují jej podle nové výzvy, takže struktura přetrvává, zatímco se mění zabarvení a styl. Nastavení síly určuje, kolik z originálu zůstane. Kmenová práce kombinuje separaci a generování. Modely oddělení zdrojů, jako je open-source Demucs Meta, rozdělují mix na zpěv, bicí, basu a další; generátor pak může přidat nebo vyměnit jednu část podmíněnou zbývající. Limity jsou skutečné. Dlouhé prodloužení driftu: tempo, tónina, vyváženost mixu a vokální zabarvení mohou bloudit. Spojení mohou hlasitě klikat nebo skákat. Modely vidí omezené kontextové okno, takže motiv z první minuty může být zapomenut. Obvyklá mylná představa je, že model rozumí struktuře písně způsobem, jakým to dělá hudebník; odpovídá vzorům v nedávném zvuku. Práva také přetrvávají: rozšíření komerční nahrávky, kterou nevlastníte, vytváří její derivát a podmínky mnoha služeb zakazují nahrávat zvuk, na který nemáte práva.
Skladatel zabrouká 20sekundový nápad na refrén, nahraje ho do hudebního generátoru a použije funkci Extend od značky 0:18 k vytvoření sloky a mostu, které následují ve stejné tónině a tempu.
Redaktorka podcastu má 30sekundovou licencovanou hudební postel, která je na úvod příliš krátká, takže vygeneruje pokračování a prolne ho na čáru tak, aby dosáhl 60 sekund.
Producent rozdělí staré demo na vokály, bicí, baskytaru a další stopky pomocí Demucs, ztlumí slabý bicí stopek a nechá model vygenerovat nový bicí part podmíněný zbývajícími stopkami.
Kapela maluje dva takty, kde zpěvák načechral text, přičemž zvuk na obou stranách zůstal nedotčený, a pak zkontroluje, že regenerovaný vokál stále zní jako stejný zpěvák.
Výzkum tlačí k delšímu kontextu, lepšímu povědomí o struktuře a jemnější kontrole nad jednotlivými stonky, což by mělo snížit drift a učinit úpravy na úrovni sekcí předvídatelnějšími. Integrace do digitálních audio pracovních stanic je pravděpodobným směrem, protože úpravy v rámci existujícího projektu jsou užitečnější než generování celých skladeb v prohlížeči. Těžkými problémy zůstává kvalita ve švech a zachování identity konkrétního zpěváka. Na straně práv se stále vyvíjejí kontroly nahrávání a licenční ujednání mezi službami a držiteli práv, takže to, co mohou uživatelé legálně rozšířit, bude záviset spíše na vyvíjejících se podmínkách a výsledcích soudu než na samotné technologii.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
AI music extension využívá generativní model k pokračování existujícího zvukového klipu, regeneraci sekce uprostřed (malba), změně stylu nebo přidání a nahrazení jednotlivých stopek nástroje. Umožňuje krátký nápad přerůst v celou skladbu nebo opravit chybný záběr bez opětovného nahrávání. Záleží na tom, protože to mění způsob, jakým lidé navrhují a upravují hudbu, ale má jasné limity kvality a neodstraňuje práva toho, kdo vlastní původní zvuk.
Klip se převede na samostatné tokeny a model předpovídá, jaké tokeny budou následovat, podobně jako jazykový model pokračuje v textu.
MusicGen spoléhá na EnCodec, neurální zvukový kodek od Meta, který reprezentuje zvuk jako samostatné tokeny.
Inpainting vyplní nebo nahradí vybraný rozsah, jako je například rozmazaný text, a přitom zachová okolní zvuk nedotčený.
Difúze může omezit známé oblasti během odšumování, takže pouze chybějící část je regenerována tak, aby odpovídala svému okolí.
Vyšší síla přidává více hluku a více regeneruje, čímž dále mění vstup; nižší pevnost zachovává větší část své struktury.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Band-Split RoFormer pro hudební oddělení
Zvuková AI