SoundStorm Parallel Audio generation
SoundStorm jẹ awoṣe iran ohun Google ti o ṣe agbejade ọrọ ati ohun ni afiwe kuku ju ami-ami kan lọ ni akoko kan, ṣiṣe iṣelọpọ ohun didara ga ni iyara pupọ.
Akopọ
It matters because it cuts generation latency for long clips from minutes to seconds without sacrificing fidelity.
Jin Dive
SoundStorm, ti a ṣe nipasẹ Google ni ọdun 2023, n ṣe agbejade ohun ti o ṣojuuṣe bi awọn ami akositiki oloye lati kodẹki nkankikan ti a pe ni SoundStream. Awọn awoṣe iṣaaju bii AudioLM ṣe agbejade awọn ami-ami wọnyi ni aifọwọyi, asọtẹlẹ ami-ami kọọkan ni ọkọọkan, eyiti o lọra fun ohun afetigbọ gigun. SoundStorm dipo lilo aisi-autoregressive, ọna orisun-boju-boju ti a yawo lati awọn awoṣe iran aworan bi MaskGIT. O bẹrẹ pẹlu awọn ami ti o boju-boju pupọ ati ni igbagbogbo kun wọn ni iwọn diẹ ti awọn igbesẹ iyipada, sọtẹlẹ ọpọlọpọ awọn ami ni ẹẹkan ni afiwe. Ti wa ni ipo lori awọn ami atunmọ (lati awoṣe bii AudioLM tabi SPEAR-TTS), o le ṣepọ awọn aaya 30 ti ibaraẹnisọrọ adayeba ni bii idaji iṣẹju kan lori TPU kan, ni aijọju awọn akoko 100 yiyara ju awọn ipilẹ-afọwọṣe adaṣe lakoko ti o baamu didara wọn ati aitasera agbọrọsọ.
Imọ-imọ-ẹrọ
SoundStorm ṣe apẹẹrẹ ipo-iṣaaju ti awọn ipele pikito ti o ku (RVQ) lati SoundStream. Lakoko ikẹkọ, awọn ami aipe ti wa ni boju-boju ati awoṣe kọ ẹkọ lati ṣe asọtẹlẹ wọn. Ni itọka o n ṣiṣẹ idawọle ti o jọra ti o ni igbẹkẹle: ni aṣetunṣe kọọkan o sọ asọtẹlẹ gbogbo awọn ami ti o boju, tọju awọn ti o ni igboya julọ, ati tun-boju-boju iyokù. O ṣe ipinnu awọn ipele RVQ isokuso ni akọkọ, lẹhinna awọn ti o dara julọ, de ohun ohun ni kikun ni awọn igbesẹ ti o kere ju ti iran ami-ami-ami lọ.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti SoundStorm Parallel Audio generation
Yiyipada-boju-boju-boju ti o jọra n di ohun elo boṣewa fun iyara, ohun afetigbọ iṣakoso. Reti lati fi agbara mu awọn aṣoju ibaraẹnisọrọ ni akoko gidi, iṣelọpọ ohun lẹsẹkẹsẹ, ati adarọ-ese gigun tabi iran iwe ohun nibiti airi ti jẹ ki awọn awoṣe adaṣe adaṣe jẹ alaiṣeṣẹ. Apapọ rẹ pẹlu imudara atunmọ ti o lagbara ati isamisi omi yoo mu ilọsiwaju ibaraẹnisọrọ gidi ati wiwa kakiri. Ero isọdọtun-isọtunwọn kanna ni o ṣee ṣe lati dapọ pẹlu awọn isunmọ itankale, titọ laini laarin koodu kodẹki ati awọn olupilẹṣẹ ohun afetigbọ.
Real-World imuse
Ṣiṣẹda awọn ijiroro sisọ iṣẹju-aaya 30 fun awọn oluranlọwọ ohun AI ni labẹ iṣẹju kan
Ṣiṣẹpọ awọn ibaraẹnisọrọ olona-yii pẹlu awọn ohun agbọrọsọ deede fun ṣiṣe apẹrẹ
Agbara ọrọ-si-ọrọ kekere-lairi ni awọn aṣoju ibaraenisepo nibiti awọn awoṣe autoregressive aisun
Ṣiṣejade ohun afetigbọ gigun-gun ni iyara nipasẹ kikun awọn ami akositiki ni afiwe
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SoundStorm Parallel Audio Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Idurosinsin Audio wiwaba Itankale
Awọn ibeere ti a beere nigbagbogbo
What is SoundStorm Parallel Audio Generation?
SoundStorm jẹ awoṣe iran ohun Google ti o ṣe agbejade ọrọ ati ohun ni afiwe kuku ju ami-ami kan lọ ni akoko kan, ṣiṣe iṣelọpọ ohun didara ga ni iyara pupọ. O ṣe pataki nitori pe o ge lairi iran fun awọn agekuru gigun lati iṣẹju si iṣẹju-aaya laisi irubọ ifaramọ.
Kini isọdọtun bọtini ti o jẹ ki SoundStorm yiyara ju AudioLM?
SoundStorm rọpo autoregressive ti o lọra, aami-nipasẹ-àmi iran pẹlu ti kii-autoregressive ni afiwe yiyipada, asotele ọpọlọpọ awọn àmi nigbakanna.
Ilana wo lati iran aworan ni SoundStorm ṣe deede?
SoundStorm yawo orisun-igbẹkẹle, iboju-boju-ati-atunkun ilana yiyan koodu ti o gbajumọ nipasẹ MaskGIT ni iṣelọpọ aworan.
Iru aṣoju wo ni SoundStorm ṣe ipilẹṣẹ?
SoundStorm sọ asọtẹlẹ awọn ami akositiki ọtọtọ ti a ṣe nipasẹ kodẹki SoundStream, eyiti o jẹ iyipada nigbamii sinu fọọmu igbi.
Ni aijọju bawo ni SoundStorm ṣe pẹ to lati ṣe ina awọn iṣẹju-aaya 30 ti ohun lori TPU kan?
SoundStorm le ṣepọ awọn iṣẹju-aaya 30 ti ohun ni aijọju iṣẹju-aaya 0.5, nipa 100x yiyara ju awọn ipilẹ-aṣeyọri lọ.
Bawo ni SoundStorm ṣe pinnu iru awọn ami isọtẹlẹ lati tọju lakoko iyipada?
Ninu aṣetunṣe kọọkan o ṣe idaduro awọn asọtẹlẹ ami-igbẹkẹle ti o ga julọ ati tun-boju-boju awọn ti ko ni idaniloju fun igbasilẹ atẹle.