SoundStream Neural Codec
SoundStream ni Google kodeki ya sauti ya neural ya mwisho hadi mwisho ambayo hubana matamshi na muziki hadi kasi ya chini sana huku ikihifadhi ubora.
Muhtasari
It matters because it beats traditional codecs like Opus at the same bitrate and powers modern generative audio models.
Dive ya kina
Ilianzishwa na Google mwaka wa 2021, SoundStream ni kodeki kamili ya neva iliyojengwa kutoka kwa vipande vitatu vilivyofunzwa pamoja: kisimbaji cha kuleta mabadiliko ambacho hugeuza umbo mbichi kuwa mlolongo wa vivekta, kidhibiti mabaki cha vekta (RVQ) ambacho hutofautisha viboreshaji hivyo vya kutengeneza mawimbi na kutengeneza viboreshaji. Imefunzwa na hasara za uundaji upya na kibaguzi pinzani cha mtindo wa GAN, kwa hivyo matokeo yanasikika ya asili badala ya kufungwa kwa nambari. Kipengele bora ni 'scalable' au mafunzo ya kuacha quantizer: muundo mmoja unaweza kutumia kasi ya biti kutoka takribani 3 hadi 18 kbps kwa kutumia tabaka zaidi au chache za kidhibiti kwa makisio, bila kujizoeza tena. Kwa kbps 3 inaripotiwa kuwa bora kuliko Opus katika 12 kbps katika majaribio ya kusikiliza, kushughulikia hotuba, muziki, na sauti ya jumla katika muundo mmoja ambao unaweza kufanya kazi kwa wakati halisi kwenye CPU ya simu mahiri.
Ufahamu wa Kiufundi
Mtindo wa wimbi hupitia minyundo ya hatua ambayo ni sampuli ndogo sana, na kutoa upachikaji mmoja kwa kila fremu (k.m. fremu 75/sekunde). RVQ kisha husimba kila upachikaji kama rundo la fahirisi za kitabu cha msimbo. Kasi ya biti ni sawa na kasi ya kasi ya fremu mara biti za vihesabu amilifu mara biti kwa kitabu cha msimbo. Kuacha kwa Quantizer kunapunguza kwa nasibu rafu ya RVQ wakati wa mafunzo, na kulazimisha vitabu vya awali vya codec kubeba taarifa muhimu zaidi ili kodeki ishuke hadhi kwa viwango vya chini.
Athari za kimkakati
Kufikia na kufikia
Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
Cost and budget
Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
Kasi na kiwango
Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Mustakabali wa SoundStream Neural Codec
SoundStream ilianzisha kiolezo ambacho kodeki za baadaye kama vile EnCodec na DAC ziliboresha, na tokeni zake bainifu zikawa sehemu ndogo ya mifumo ya uzalishaji kama vile AudioLM na MusicLM. Tarajia vizazi vinavyosukuma hadi viwango vya chini zaidi vya biti, tokeni zilizoundwa kisemantiki ambazo huongezeka maradufu kwa jenereta za sauti za mtindo wa lugha, na utumiaji mkali wa kifaa kwa simu za moja kwa moja, visaidizi vya kusikia na utiririshaji ambapo kipimo data na muda wa kusubiri umebanwa sana.
Utekelezaji wa Ulimwengu Halisi
Inabana simu za sauti hadi ~3 kbps huku zikisikika wazi zaidi kuliko kodeki zilizopitwa na wakati kwa kasi ya juu zaidi
Inazalisha tokeni tofauti za sauti zinazolisha Google miundo ya kuzalisha ya AudioLM na MusicLM
Utiririshaji wa sauti wa kiwango cha chini cha wakati halisi kwenye vifaa vya mkononi kwa usimbaji na usimbaji wa kwenye CPU
Kuhifadhi au kusambaza muziki na sauti tulivu kwa ufanisi katika muundo mmoja unaoshughulikia aina zote za maudhui
Hatari & Walinzi
Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Ramani ya Utekelezaji
Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
Jaribu ubora kwenye spika na hali mbalimbali za usuli.
Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SoundStream Neural Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kodeki za Sauti za Neural
Maswali yanayoulizwa mara kwa mara
What is SoundStream Neural Codec?
SoundStream ni Google kodeki ya sauti ya neural ya mwisho hadi mwisho ambayo hubana matamshi na muziki hadi kasi ya chini sana huku ikihifadhi ubora. Ni muhimu kwa sababu inashinda kodeki za kitamaduni kama vile Opus kwa kasi sawa na kuwasha miundo ya kisasa ya sauti.
Ni sehemu gani tatu zinazounda usanifu wa SoundStream?
SoundStream imeundwa kutoka kwa programu ya kusimba ya kushawishi, kidhibiti mabaki cha vekta ambacho hutofautisha upachikaji, na avkodare ya ubadilishaji, zote zilizofunzwa mwisho hadi mwisho.
Ni mbinu gani huruhusu kielelezo kimoja cha SoundStream kuhudumia biti nyingi tofauti bila kujizoeza tena?
Wakati wa mafunzo, SoundStream hudondosha tabaka za kidhibiti bila mpangilio ili kwa makisio uweze kutumia viwango vya RVQ zaidi au vichache kugonga kasi tofauti kutoka kwa modeli moja.
Katika majaribio ya usikilizaji ya Google, SoundStream ya kbps 3 iliripotiwa kuwa na ubora kuliko kodeki ipi kwa 12 kbps?
Mtiririko wa sauti kwa kbps 3 pekee ulilingana au kushinda kodeki ya Opus inayotumika sana inayoendeshwa kwa 12 kbps katika tathmini za ubora wa kibinafsi.
SoundStream hutumia mawimbi ya aina gani ya mafunzo ya ziada kufanya pato liwe la asili?
Zaidi ya hasara za uundaji upya, SoundStream hutumia vibaguzi vya wapinzani (GAN) ili uundaji upya usikike kuwa wa kweli badala ya kukaribiana kihesabu tu.
Je, kasi ya biti ya SoundStream inahusiana vipi na vikadiriaji vyake?
Mizani ya kasi ya biti yenye idadi ya safu zinazotumika za RVQ (mara biti za kasi ya fremu kwa kila kitabu cha msimbo), kwa hivyo kuongeza vipima vipimo huongeza kasi ya biti na ubora.