SoundStream nkankikan kodẹki
SoundStream jẹ Google's opin-si-opin ohun kodẹki nkankikan ti o rọ ọrọ ati orin pọ si awọn iwọn biiti kekere pupọju lakoko ti o tọju didara.
Akopọ
It matters because it beats traditional codecs like Opus at the same bitrate and powers modern generative audio models.
Jin Dive
Iṣafihan nipasẹ Google ni ọdun 2021, SoundStream jẹ koodu kodẹki nkankikan ti o ni kikun ti a ṣe lati awọn ege mẹta ti a ṣe ikẹkọ papọ: koodu iyipada kan ti o yi iyipada igbi aise pada si ọna iwapọ kan ti awọn vectors, quantizer vector ti o ku (RVQ) ti o sọ awọn apanirun wọnyẹn leti, ati imupadabọ ti o ṣe iyipada. O ti ni ikẹkọ pẹlu awọn adanu atunkọ mejeeji ati iyasọtọ ọta ara GAN kan, nitorinaa iṣelọpọ n dun adayeba kuku ju isunmọ nọmba kan. Ẹya iduro kan jẹ 'iwọn' tabi ikẹkọ quantizer-dropout: awoṣe kan le ṣiṣẹ kọja awọn iwọn biiti lati aijọju 3 si 18 kbps nirọrun nipa lilo diẹ sii tabi diẹ awọn fẹlẹfẹlẹ quantizer ni itọkasi, laisi imupadabọ. Ni 3 kbps o royin ju Opus lọ ni 12 kbps ni awọn idanwo gbigbọran, mimu ọrọ mu, orin, ati ohun afetigbọ gbogbogbo ni awoṣe kan ti o le ṣiṣẹ ni akoko gidi lori Sipiyu foonuiyara kan.
Imọ-imọ-ẹrọ
Fọọmu igbi naa kọja nipasẹ awọn iyipo ti o gun ti o dinku pupọ, ti n ṣe ifilọlẹ ọkan fun fireemu (fun apẹẹrẹ 75 awọn fireemu/aaya). RVQ lẹhinna ṣe koodu ifibọ kọọkan bi akopọ ti awọn atọka koodu. Bitrate dogba awọn akoko oṣuwọn fireemu nọmba awọn akoko quantizers ti nṣiṣe lọwọ awọn die-die fun iwe koodu. Quantizer dropout laileto ge akopọ RVQ lakoko ikẹkọ, fi ipa mu awọn iwe koodu iṣaaju lati gbe alaye pataki julọ ki kodẹki dinku ni oore-ọfẹ ni awọn iwọn kekere.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti SoundStream Neural Codec
SoundStream ṣe agbekalẹ awoṣe ti awọn kodẹki nigbamii bi EnCodec ati DAC ti tunmọ, ati awọn ami iyasọtọ rẹ di sobusitireti fun awọn ọna ṣiṣe ipilẹṣẹ bii AudioLM ati MusicLM. Reti awọn arọmọdọmọ titari si ọna awọn iwọn biiti kekere paapaa, awọn ami isọdi ti a ṣe atunto ti o ṣe ilọpo meji bi awọn igbewọle si awọn olupilẹṣẹ ohun aṣa ara-ede, ati imuṣiṣẹ lori ẹrọ fun awọn ipe laaye, awọn iranlọwọ igbọran, ati ṣiṣanwọle nibiti bandiwidi ati idaduro ti ni ihamọ ni wiwọ.
Real-World imuse
Fifun awọn ipe ohun si ~ 3 kbps lakoko ti o n dun ni gbangba ju awọn kodẹki julọ ni awọn iwọn biiti ti o ga julọ
Ṣiṣẹda awọn ami ohun afetigbọ ọtọtọ ti o jẹ ifunni Google's AudioLM ati awọn awoṣe ipilẹṣẹ MusicLM
Sisanwọle ohun afetigbọ kekere-akoko gidi lori awọn ẹrọ alagbeka pẹlu fifi koodu lori-CPU ati iyipada
Titoju tabi gbigbe orin ati ohun ibaramu ṣiṣẹ daradara ni awoṣe kan ti o mu gbogbo awọn iru akoonu mu
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SoundStream Neural Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn kodẹki Audio Neural
Awọn ibeere ti a beere nigbagbogbo
What is SoundStream Neural Codec?
SoundStream jẹ Google's opin-si-opin ohun kodẹki nkankikan ti o rọ ọrọ ati orin pọ si awọn iwọn biiti kekere pupọju lakoko ti o tọju didara. O ṣe pataki nitori pe o lu awọn kodẹki ibile bii Opus ni iwọn biiti kanna ati agbara awọn awoṣe ohun afetigbọ ode oni.
Awọn paati mẹta wo ni o jẹ faaji SoundStream?
SoundStream ti wa ni itumọ lati koodu iyipada convolutional, kuntiserer vector ti o ku ti o ṣe iyasọtọ awọn ifibọ, ati oluyipada iyipada, gbogbo ikẹkọ ipari si ipari.
Ilana wo ni o jẹ ki awoṣe SoundStream kan sin ọpọlọpọ awọn bitrates oriṣiriṣi laisi ikẹkọ?
Lakoko ikẹkọ, SoundStream laileto ju awọn ipele quantizer silẹ nitori pe ni itọkasi o le lo diẹ sii tabi diẹ si awọn ipele RVQ lati kọlu oriṣiriṣi awọn bitrates lati awoṣe kan.
Ninu awọn idanwo gbigbọ Google, SoundStream ni 3 kbps ni a royin lati ṣe kodẹki wo ni 12 kbps?
SoundStream ni o kan 3 kbps baamu tabi lu kodẹki Opus ti a lo lọpọlọpọ ti nṣiṣẹ ni 12 kbps ni awọn igbelewọn didara ero-ara.
Iru ami ifihan ikẹkọ afikun wo ni SoundStream lo lati jẹ ki ohun ti o jade jẹ adayeba?
Ni ikọja awọn adanu atunkọ, SoundStream nlo awọn alayatọ adversarial (GAN) nitorinaa awọn atunto dun ni ojulowo gidi kuku ju isunmọ nọmba lasan.
Bawo ni Odiwọn biiti SoundStream ṣe ni ibatan si awọn olutọpa rẹ?
Awọn irẹjẹ Bitrate pẹlu nọmba awọn fẹlẹfẹlẹ RVQ ti nṣiṣe lọwọ (awọn akoko oṣuwọn fireemu awọn akoko awọn iwọn fun iwe koodu), nitorinaa fifi awọn quantizers ji bi oṣuwọn ati didara ga.