DDSP Iyatọ Audio Synthesis
DDSP (Iṣeto ifihan ifihan agbara Oniyatọ) dapọ awọn bulọọki ile iṣelọpọ ti Ayebaye pẹlu awọn nẹtiwọọki nkankikan, nitorinaa ẹkọ ti o jinlẹ le ṣakoso awọn oscillators ati awọn asẹ taara.
Akopọ
O ṣe agbejade awọn ohun elo ti o ni iṣakoso pẹlu awọn awoṣe kekere ati data kekere.
Jin Dive
DDSP, ti a ṣe nipasẹ Google Ẹgbẹ Magenta ni ọdun 2020, tun ronu iran ohun afetigbọ nkankikan. Dipo ti nẹtiwọọki ti n sọ asọtẹlẹ awọn ayẹwo ohun aise ni ẹẹkan (bii WaveNet) tabi awọn piksẹli ti spectrogram kan, DDSP ṣe awọn paati DSP ibile - oscillator aropọ ti irẹpọ, olupilẹṣẹ ariwo ti a yan, ati atunṣe — iyatọ. Iyẹn tumọ si awọn gradients le ṣan nipasẹ wọn lakoko ikẹkọ, nitorinaa nẹtiwọọki kekere kan kọ ẹkọ lati ṣe agbejade awọn ami iṣakoso itumọ: ipolowo ipilẹ, ariwo gbogbogbo, ati titobi ti awọn dosinni ti awọn irẹpọ lori akoko. Olupilẹṣẹ lẹhinna ṣe ohun ohun gangan lati awọn idari wọnyi. Nitori awọn fisiksi ti ohun ti wa ni ndin sinu faaji kuku ju eko lati ibere, DDSP se aseyori ga didara pẹlu jina díẹ sile ati ikẹkọ apeere, ati ki o jẹ ki awọn olumulo ominira se afọwọyi ipolowo, ariwo, ati timbre — ani sise timbre gbigbe, bi ṣiṣe a orin ohun orin bi a fayolini.
Imọ-imọ-ẹrọ
Ipilẹ jẹ amuṣiṣẹpọ awoṣe iwoye: banki oscillator ti irẹpọ n ṣe agbejade apao ti awọn igbi ese ni awọn nọmba odidi ti igbohunsafẹfẹ ipilẹ, lakoko ti ọna lọtọ ṣe asẹ ariwo funfun fun ẹmi ati awọn awoara inharmonic. Nẹtiwọọki nkankikan ko ṣe agbejade ohun taara taara - o ṣe agbejade awọn iwọn iṣakoso akoko-orisirisi (f0, ariwo, pinpin irẹpọ, awọn alasọdipúpọ àlẹmọ). Ikẹkọ nlo adanu spectrogram olona-pupọ ni afiwe ti ipilẹṣẹ ati ohun afetigbọ kọja ọpọlọpọ awọn iwọn window FFT, eyiti o lagbara si awọn iyatọ alakoso.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti DDSP Iyatọ Audio Synthesis
DDSP n titari ni akoko gidi, awọn ohun elo aifọkanbalẹ kekere ati awọn ipa ohun ti o nṣiṣẹ lori ohun elo iwọntunwọnsi, pẹlu ẹrọ aṣawakiri ati lori awọn ẹrọ ifibọ. Awọn iṣakoso itumọ rẹ jẹ ki o jẹ apẹrẹ fun awọn irinṣẹ iṣẹ ṣiṣe ikosile ati awọn iṣelọpọ arabara nibiti awọn akọrin ti n pe timbre taara. Awọn oniwadi n fa imọran iyatọ-DSP pọ si awoṣe ti ara, acoustics yara, ati awọn ẹwọn iṣelọpọ ohun ni kikun, idapọmọra iṣakoso ti iṣelọpọ ifihan agbara Ayebaye pẹlu otitọ ti ẹkọ jinlẹ kọja ẹda orin ati apẹrẹ ohun.
Real-World imuse
Awọn irinṣẹ gbigbe Timbre ti o mu orin aladun hummed tabi kọrin ati tun ṣe bi violin, fèrè, tabi ipè ni akoko gidi.
Awọn afikun synthesizer nkankikan iwuwo fẹẹrẹ ti awọn akọrin ṣakoso pẹlu ipolowo ogbon inu, ariwo, ati awọn koko didan.
Atunse ipolowo ati isọdọtun asọye ti awọn ohun elo ti o gbasilẹ lakoko titọju awọn alaye irẹpọ adayeba.
Awọn ifihan orin ibanisọrọ ti o da lori aṣawakiri ti o ṣe agbejade awọn ohun irinse ojulowo laisi awọn awoṣe GPU ti o wuwo.
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DDSP Differentiable Audio Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
AudioGen Ọrọ-si-Asọpọ
Awọn ibeere ti a beere nigbagbogbo
Kini DDSP Differentiable Audio Synthesis?
DDSP (Iṣeto ifihan ifihan agbara Oniyatọ) dapọ awọn bulọọki ile iṣelọpọ ti Ayebaye pẹlu awọn nẹtiwọọki nkankikan, nitorinaa ẹkọ ti o jinlẹ le ṣakoso awọn oscillators ati awọn asẹ taara. O ṣe agbejade iyalẹnu adayeba, awọn ohun irinse iṣakoso pẹlu awọn awoṣe kekere ati data kekere.
Kini ĭdàsĭlẹ bọtini lẹhin DDSP?
DDSP yi awọn bulọọki ile iṣelọpọ ti aṣa sinu awọn modulu iyatọ, jẹ ki nẹtiwọọki nkankikan kọ ẹkọ lati ṣakoso wọn nipasẹ isọdọtun.
Ni DDSP, kini nẹtiwọọki nkankikan n ṣe jade gangan?
Nẹtiwọọki n ṣe asọtẹlẹ awọn aye iṣakoso akoko-oriṣiriṣi, ati isọdọkan iyatọ ti o yatọ ti o ṣe ohun afetigbọ lati ọdọ wọn - ko ṣe jade awọn ayẹwo taara.
Eyi ti meji mojuto ohun-ti o npese irinše ni DDSP ká julọ.Oniranran synthesizer darapọ?
Oscillator aropọ ti irẹpọ n ṣe agbejade ipolowo, apakan irẹpọ lakoko ti ariwo ti a yan ṣe afikun ẹmi ati sojurigindin inharmonic.
Kini idi ti DDSP le ṣe aṣeyọri didara giga pẹlu awọn awoṣe kekere ti o jọmọ ati data kekere?
Nitori eto ṣiṣe ifihan ifihan ti a mọ ti wa ni itumọ ti dipo kiko ẹkọ lati ibere, nẹtiwọọki ko kere pupọ lati kọ ẹkọ, imudarasi data ati ṣiṣe paramita.
Iṣẹ ipadanu wo ni DDSP nlo lati ṣe afiwe ti ipilẹṣẹ ati ohun afetigbọ ni agbara?
Ifiwera awọn iwoye titobi ni awọn ipinnu lọpọlọpọ jẹ logan si awọn iyatọ alakoso, eyiti awọn adanu ipele-apejuwe tiraka pẹlu.