Mfinyazo wa Sauti wa EnCodec
EnCodec ni Meta kodeki ya sauti ya neural ya uaminifu wa juu ambayo hubana matamshi na muziki kwa kasi ya chini sana kwa ubora unaopingana na umbizo nzito zaidi.
Muhtasari
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Dive ya kina
Iliyotolewa na Meta AI mwaka wa 2022, EnCodec inafuata mwongozo wa SoundStream wa kisimbaji, kidhibiti mabaki cha vekta (RVQ), na avkodare iliyofunzwa mwisho hadi mwisho, lakini huongeza uboreshaji kadhaa. Inatumia kisimbaji chenye uwezo wa kutiririsha, spectrogram ya viwango vingi na hasara za uundaji upya wa kikoa cha wakati, na vibaguaji pinzani kwa ubora wa utambuzi. Mchango mashuhuri ni muundo mdogo wa entropy unaotegemea Transfoma ambao unabana zaidi misimbo iliyokadiriwa bila hasara, na kubana biti za ziada bila kupoteza ubora. EnCodec pia inatanguliza kisawazisha ambacho huongeza kiotomatiki hasara nyingi za mafunzo zinazoshindana ili zibaki thabiti. Inashughulikia sauti ya stereo ya kHz 24 na 48 kHz, hufanya kazi kwenye kasi ya biti kama vile 1.5, 3, 6, na 12 kbps, na kwa kbps 6 hufikia ubora unaolingana na MP3 kwa 64 kbps. Tokeni zake zina uwezo wa Meta MusicGen na AudioGen.
Ufahamu wa Kiufundi
Kisimbaji cha EnCodec hushusha sampuli za umbo la wimbi kwa mibadilisho ya hatua kwa hatua hadi kwenye mfuatano uliofichika, ambao RVQ hubadilisha kuwa fahirisi za kitabu cha msimbo zilizopangwa. Kigezo chepesi cha lugha ya Transfoma hutabiri uwezekano wa tokeni hizi na huziweka misimbo ya hesabu, na kurejesha mgandamizo zaidi bila malipo. Kisawazisha cha mafunzo kinapunguza michango ya gradient kutoka kwa uundaji upya, upotezaji wa taswira, na pinzani ili kusiwe na muhula mmoja unaotawala, ambayo huweka mafunzo ya malengo mengi kuwa thabiti katika safu kamili ya biti.
Athari za kimkakati
Kufikia na kufikia
Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
Cost and budget
Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
Kasi na kiwango
Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Mustakabali wa Mfinyazo wa Sauti wa EnCodec
EnCodec tayari ni kiashiria chaguo-msingi cha miundo kadhaa ya sauti ya uzalishaji iliyo wazi, na vizazi vyake vinasukuma uaminifu wa juu kwa kasi ya chini ya biti, ujenzi kamili wa stereo na kiwango cha muziki, na ushirikiano mkali zaidi na jenereta za maandishi-kwa-sauti na maandishi-hadi-muziki. Tarajia kupitishwa kwa upana katika mawasiliano ya kipimo data cha chini, utiririshaji wa wakati halisi, na kama safu ya kawaida ya 'tokeni ya sauti' ambayo huruhusu usanifu mkubwa wa mtindo wa lugha kusoma na kuandika sauti.
Utekelezaji wa Ulimwengu Halisi
Kuweka alama sauti kwa Meta ya MusicGen na AudioGen ya kutengeneza maandishi hadi sauti
Inabana usemi wa kHz 24 hadi kbps 1.5-6 kwa upitishaji usio na kipimo data
Inasimba muziki wa stereo wa 48 kHz wenye ubora karibu na MP3 kwa kasi ya juu zaidi
Inatumika kama kodeki ya kunjuzi ya chanzo huria kwa utafiti na mabomba ya sauti ya ML kupitia vituo vya ukaguzi vilivyotolewa
Hatari & Walinzi
Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Ramani ya Utekelezaji
Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
Jaribu ubora kwenye spika na hali mbalimbali za usuli.
Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EnCodec Audio Compression quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Upachikaji wa Sauti na Mafunzo ya Uwakilishi
Maswali yanayoulizwa mara kwa mara
What is EnCodec Audio Compression?
EnCodec ni Meta kodeki ya sauti ya neural ya uaminifu wa juu ambayo hubana matamshi na muziki kwa kasi ya chini sana kwa ubora unaopingana na umbizo nzito zaidi. Ni muhimu kwa sababu inasimamia mifumo ya kisasa ya sauti na meli katika mfumo huria ili mtu yeyote atumie.
Ni shirika gani lilitoa EnCodec?
EnCodec ilianzishwa na Meta AI (FAIR) mnamo 2022 kama kodeki ya sauti ya neural ya uaminifu wa juu.
Je, EnCodec inaongeza sehemu gani ya ziada ili kubana bila hasara kutoka kwa ishara zake?
EnCodec hufunza Transfoma ndogo kutabiri uwezekano wa ishara na kuziweka misimbo ya hesabu, na kupata mgandamizo wa ziada usio na hasara juu ya RVQ.
Kwa takriban kbps 6, ubora wa EnCodec uliripotiwa kulinganishwa na MP3 kwa takriban kasi ya biti?
EnCodec katika kbps 6 hufikia ubora wa kibinafsi sawa na MP3 kwa 64 kbps, faida kubwa ya ufanisi.
Je, 'balancer' ya EnCodec hutatua tatizo gani wakati wa mafunzo?
Pamoja na hasara nyingi (ujenzi upya, spectral, adversarial), mizani hupunguza gradient zao hivyo hakuna lengo moja kutawala, utulivu mafunzo.
Je, EnCodec inashiriki njia gani kuu ya kuhesabu na SoundStream?
Kama vile SoundStream, EnCodec hutumia ujanibishaji wa vekta iliyobaki ili kutofautisha upachikaji wa visimbaji katika fahirisi za vitabu vya msimbo vilivyopangwa kwa rafu.