Zvukový průvodce AI

Rozšíření a pokračování hudby AI

AI music extension využívá generativní model k pokračování existujícího zvukového klipu, regeneraci sekce uprostřed (malba), změně stylu nebo přidání a nahrazení jednotlivých stopek nástroje.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost AI Music Extension a pokračování
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Umožňuje krátký nápad přerůst v celou skladbu nebo opravit chybný záběr bez opětovného nahrávání. Záleží na tom, protože to mění způsob, jakým lidé navrhují a upravují hudbu, ale má jasné limity kvality a neodstraňuje práva toho, kdo vlastní původní zvuk.

Hluboký ponor

Rozšíření vezme existující klip a vygeneruje to, co bude následovat. Jedním z běžných přístupů je autoregresivní pokračování. MusicGen od Meta, vydaný v roce 2023 jako součást AudioCraft, převádí zvuk na diskrétní tokeny pomocí neurálního kodeku zvaného EnCodec a předpovídá další tokeny po těch, které dodáte, podobně jako jazykový model pokračuje ve větě. Spotřebitelské služby, jako jsou Suno a Udio, to nabízejí jako funkci Rozšíření, obvykle vám umožní vybrat počáteční bod a změnit text nebo styl nové sekce. Inpainting regeneruje maskovanou oblast uprostřed při zachování zvuku na obou stranách, což je užitečné pro opravu textu nebo nahrazení čtyř taktů. Difúzní modely tomu vyhovují, protože známý zvuk může být držen pevně, zatímco je odšumováno pouze maskované rozpětí. Režimy audio-to-audio nebo remix, jako je ten Stability AI představený se Stable Audio 2.0 v roce 2024, částečně přidávají šum do vstupu a regenerují jej podle nové výzvy, takže struktura přetrvává, zatímco se mění zabarvení a styl. Nastavení síly určuje, kolik z originálu zůstane. Kmenová práce kombinuje separaci a generování. Modely oddělení zdrojů, jako je open-source Demucs Meta, rozdělují mix na zpěv, bicí, basu a další; generátor pak může přidat nebo vyměnit jednu část podmíněnou zbývající. Limity jsou skutečné. Dlouhé prodloužení driftu: tempo, tónina, vyváženost mixu a vokální zabarvení mohou bloudit. Spojení mohou hlasitě klikat nebo skákat. Modely vidí omezené kontextové okno, takže motiv z první minuty může být zapomenut. Obvyklá mylná představa je, že model rozumí struktuře písně způsobem, jakým to dělá hudebník; odpovídá vzorům v nedávném zvuku. Práva také přetrvávají: rozšíření komerční nahrávky, kterou nevlastníte, vytváří její derivát a podmínky mnoha služeb zakazují nahrávat zvuk, na který nemáte práva.

Real-World Implementace

Skladatel zabrouká 20sekundový nápad na refrén, nahraje ho do hudebního generátoru a použije funkci Extend od značky 0:18 k vytvoření sloky a mostu, které následují ve stejné tónině a tempu.

Redaktorka podcastu má 30sekundovou licencovanou hudební postel, která je na úvod příliš krátká, takže vygeneruje pokračování a prolne ho na čáru tak, aby dosáhl 60 sekund.

Producent rozdělí staré demo na vokály, bicí, baskytaru a další stopky pomocí Demucs, ztlumí slabý bicí stopek a nechá model vygenerovat nový bicí part podmíněný zbývajícími stopkami.

Kapela maluje dva takty, kde zpěvák načechral text, přičemž zvuk na obou stranách zůstal nedotčený, a pak zkontroluje, že regenerovaný vokál stále zní jako stejný zpěvák.

Budoucnost AI Music Extension a pokračování

Výzkum tlačí k delšímu kontextu, lepšímu povědomí o struktuře a jemnější kontrole nad jednotlivými stonky, což by mělo snížit drift a učinit úpravy na úrovni sekcí předvídatelnějšími. Integrace do digitálních audio pracovních stanic je pravděpodobným směrem, protože úpravy v rámci existujícího projektu jsou užitečnější než generování celých skladeb v prohlížeči. Těžkými problémy zůstává kvalita ve švech a zachování identity konkrétního zpěváka. Na straně práv se stále vyvíjejí kontroly nahrávání a licenční ujednání mezi službami a držiteli práv, takže to, co mohou uživatelé legálně rozšířit, bude záviset spíše na vyvíjejících se podmínkách a výsledcích soudu než na samotné technologii.

Uvedení do praxe

Proč na tom záleží

  • Přístup a dosah. Zlepšuje dostupnost prostřednictvím přepisu, vyprávění a hlasových rozhraní.
  • Cena a rozpočet. Mediální týmy mohou dodávat vylepšený zvuk rychleji s menšími rozpočty.
  • Rychlost a měřítko. Systémy orientované na zákazníky mohou zpracovávat mluvené interakce ve větším měřítku.

Pozor na

  • Pokud chybí souhlas, zvyšuje se riziko zneužití hlasu a předstírání jiné identity.
  • Přesnost může klesat v přízvuku, dialektech nebo hlučném prostředí.
  • Syntetický zvuk lze bez jasného označení zaměnit za autentickou řeč.

Další kroky

  1. Získejte výslovný souhlas se zachycením hlasu, klonováním a opětovným použitím.
  2. Otestujte kvalitu napříč různými reproduktory a podmínkami pozadí.
  3. Definujte, kdy musí člověk zkontrolovat nebo schválit výstupy.
  4. Označte syntetický zvuk a veďte záznamy o původu pro zajištění odpovědnosti.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the AI Music Extension and Continuation quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je rozšíření a pokračování AI Music?

AI music extension využívá generativní model k pokračování existujícího zvukového klipu, regeneraci sekce uprostřed (malba), změně stylu nebo přidání a nahrazení jednotlivých stopek nástroje. Umožňuje krátký nápad přerůst v celou skladbu nebo opravit chybný záběr bez opětovného nahrávání. Záleží na tom, protože to mění způsob, jakým lidé navrhují a upravují hudbu, ale má jasné limity kvality a neodstraňuje práva toho, kdo vlastní původní zvuk.

Jak autoregresivní model jako MusicGen pokračuje ve zvukovém klipu?

Klip se převede na samostatné tokeny a model předpovídá, jaké tokeny budou následovat, podobně jako jazykový model pokračuje v textu.

Který neurální kodek používá MusicGen k přeměně zvuku na tokeny?

MusicGen spoléhá na EnCodec, neurální zvukový kodek od Meta, který reprezentuje zvuk jako samostatné tokeny.

Co dělá zvuková malba?

Inpainting vyplní nebo nahradí vybraný rozsah, jako je například rozmazaný text, a přitom zachová okolní zvuk nedotčený.

Proč jsou difúzní modely vhodné pro malbu?

Difúze může omezit známé oblasti během odšumování, takže pouze chybějící část je regenerována tak, aby odpovídala svému okolí.

Co ovládá nastavení síly v režimu remix nebo audio-to-audio?

Vyšší síla přidává více hluku a více regeneruje, čímž dále mění vstup; nižší pevnost zachovává větší část své struktury.