LegközelebbKövetkező útmutató
AudioGen szöveg-audio szintézis
Hangalapú AI
Audio AI ÚTMUTATÓ
A DDSP (Differentiable Digital Signal Processing) a klasszikus szintetizátor építőelemeit neurális hálózatokkal egyesíti, így a mélytanulás közvetlenül vezérelheti az oszcillátorokat és a szűrőket.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Feltűnően természetes, szabályozható hangszerhangokat produkál apró modellekkel és kevés adattal.
A DDSP, amelyet a Google Magenta csapata vezetett be 2020-ban, újragondolja a neurális hanggenerálást. Ahelyett, hogy a hálózat egyenként előrejelezné a nyers hangmintákat (mint például a WaveNet) vagy a spektrogram képpontjait, a DDSP megkülönböztethetővé teszi a hagyományos DSP komponenseket – harmonikus additív oszcillátort, szűrt zajgenerátort és zengetést. Ez azt jelenti, hogy az edzés során gradiensek áramolhatnak át rajtuk, így egy kis neurális hálózat megtanulja értelmezhető vezérlőjelek kibocsátását: az alapvető hangmagasságot, a teljes hangerőt és több tucat harmonikus amplitúdóját az idő múlásával. A szintetizátor ezután megjeleníti a tényleges hangot ezekből a vezérlőkből. Mivel a hang fizikája inkább az architektúrába van beépítve, nem pedig a nulláról tanulta meg, a DDSP jó minőséget ér el sokkal kevesebb paraméterrel és gyakorlati példával, és lehetővé teszi a felhasználók számára, hogy önállóan manipulálják a hangmagasságot, a hangerőt és a hangszínt – akár hangszínátvitelt is végrehajtva, például egy énekhangot hegedűként játszva.
Hangátviteli eszközök, amelyek egy dúdolt vagy énekelt dallamot vesznek fel, és valós időben hegedűvé, furulyává vagy trombitává adják vissza.
Könnyű neurális szintetizátor bővítmények, amelyeket a zenészek intuitív hangmagasság-, hangerő- és fényerőgombokkal vezérelnek.
Hangmagasság-korrekció és felvett hangszerek kifejező újraszintézise a természetes harmonikus részletek megőrzése mellett.
Böngésző alapú interaktív zenei demók, amelyek valósághű hangszerhangokat generálnak nehéz GPU-modellek nélkül.
A DDSP valós idejű, alacsony késleltetésű neurális műszereket és hangeffektusokat kínál, amelyek szerény hardveren futnak, beleértve a böngészőn belüli és a beágyazott eszközöket is. Értelmezhető kezelőszervei ideálissá teszik kifejező előadói eszközökhöz és hibrid szintetizátorokhoz, ahol a zenészek közvetlenül tárcsáznak hangszínt. A kutatók kiterjesztik a differenciálható DSP ötletet a fizikai modellezésre, a szobaakusztikára és a teljes hangtermelési láncokra, ötvözve a klasszikus jelfeldolgozás irányíthatóságát a mély tanulás realizmusával a zenealkotás és a hangtervezés terén.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A DDSP (Differentiable Digital Signal Processing) a klasszikus szintetizátor építőelemeit neurális hálózatokkal egyesíti, így a mélytanulás közvetlenül vezérelheti az oszcillátorokat és a szűrőket. Feltűnően természetes, szabályozható hangszerhangokat produkál apró modellekkel és kevés adattal.
A DDSP a hagyományos szintetizátor építőelemeit differenciálható modulokká alakítja, lehetővé téve, hogy a neurális hálózat megtanulja vezérelni őket a visszaterjesztés útján.
A hálózat előrejelzi az időben változó vezérlési paramétereket, és egy külön differenciálható szintetizátor rendereli belőlük a hangot – soha nem ad ki közvetlenül mintákat.
Egy harmonikus additív oszcillátor hozza létre a hangmagasságú, harmonikus részt, míg a szűrt zaj lélegzetet és inharmonikus textúrát ad hozzá.
Mivel az ismert jelfeldolgozó struktúra be van építve, nem pedig a nulláról tanult, a hálózatnak sokkal kevesebb tanulnivalója van, javítva az adatok és a paraméterek hatékonyságát.
A magnitúdóspektrogramok több felbontású összehasonlítása robusztus a fáziskülönbségekkel szemben, amelyekkel a mintaszintű veszteségek küzdenek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AudioGen szöveg-audio szintézis
Hangalapú AI