DalšíDalší průvodce
AudioGen Text-to-Audio syntéza
Zvuková AI
Zvukový průvodce AI
DDSP (Differentiable Digital Signal Processing) spojuje klasické stavební bloky syntezátoru s neuronovými sítěmi, takže hluboké učení může přímo ovládat oscilátory a filtry.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Produkuje překvapivě přirozené, ovladatelné zvuky nástrojů s malými modely a malým množstvím dat.
DDSP, představený týmem Magenta Google v roce 2020, přehodnocuje generování neurálního zvuku. Namísto sítě predikující surové audio vzorky jeden po druhém (jako WaveNet) nebo pixely spektrogramu, DDSP dělá tradiční komponenty DSP – harmonický aditivní oscilátor, generátor filtrovaného šumu a reverb – rozlišitelné. To znamená, že jimi mohou během tréninku protékat gradienty, takže se malá neuronová síť naučí vydávat interpretovatelné řídicí signály: základní výšku, celkovou hlasitost a amplitudy desítek harmonických v průběhu času. Syntezátor pak vykreslí skutečný zvuk z těchto ovládacích prvků. Vzhledem k tomu, že fyzika zvuku je zapečena v architektuře spíše než naučená od nuly, DDSP dosahuje vysoké kvality s mnohem menším počtem parametrů a tréninkových příkladů a umožňuje uživatelům nezávisle manipulovat s výškou, hlasitostí a zabarvením – dokonce i při přenosu zabarvení, jako když pěvecký hlas hraje jako housle.
Nástroje pro přenos zabarvení, které berou zabručenou nebo zpívanou melodii a v reálném čase ji překreslují jako housle, flétnu nebo trubku.
Lehké zásuvné moduly neurálního syntezátoru, které hudebníci ovládají intuitivními knoflíky pro výšku, hlasitost a jas.
Korekce výšky tónu a výrazná resyntéza nahraných nástrojů při zachování přirozených harmonických detailů.
Interaktivní hudební ukázky založené na prohlížeči, které generují realistické zvuky nástrojů bez těžkých modelů GPU.
DDSP prosazuje neurální nástroje a zvukové efekty s nízkou latencí v reálném čase, které běží na skromném hardwaru, včetně v prohlížeči a na vestavěných zařízeních. Díky interpretovatelným ovládacím prvkům je ideální pro expresivní nástroje a hybridní syntezátory, kde hudebníci přímo vytáčí zabarvení. Výzkumníci rozšiřují myšlenku diferencovatelného DSP na fyzické modelování, akustiku místností a kompletní audio produkční řetězce, přičemž kombinují ovladatelnost klasického zpracování signálu s realismem hlubokého učení napříč tvorbou hudby a zvukovým designem.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
DDSP (Differentiable Digital Signal Processing) spojuje klasické stavební bloky syntezátoru s neuronovými sítěmi, takže hluboké učení může přímo ovládat oscilátory a filtry. Produkuje překvapivě přirozené, ovladatelné zvuky nástrojů s malými modely a malým množstvím dat.
DDSP přeměňuje tradiční stavební bloky syntezátorů na diferencovatelné moduly a umožňuje neuronové síti naučit se je ovládat pomocí zpětného šíření.
Síť předpovídá časově proměnlivé řídicí parametry a samostatný diferencovatelný syntezátor z nich vykresluje zvuk – nikdy nevydává vzorky přímo.
Harmonický aditivní oscilátor vytváří tónovanou, harmonickou část, zatímco filtrovaný šum dodává dech a neharmonickou texturu.
Vzhledem k tomu, že známá struktura zpracování signálu je zabudována spíše než se učit od nuly, síť se musí mnohem méně učit, což zlepšuje efektivitu dat a parametrů.
Porovnání magnitudových spektrogramů ve více rozlišeních je odolné vůči fázovým rozdílům, se kterými se potýkají ztráty na úrovni vzorku.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
AudioGen Text-to-Audio syntéza
Zvuková AI