Ubuyobozi bwa Audio AI

Ibisigisigi bya Vector

Ibisigisigi bya vector bisigaye (RVQ) nubuhanga buhindura amajwi adahwema gushira mubice byegeranye bya code ya discret mukubara inshuro nyinshi amakosa asigaye.

Umva iki gitaboAI-byavuzwe · ~2 min

Kuriyi page2 min soma
  1. Incamake
  2. Kwibira cyane
  3. Gushyira mu bikorwa Isi
  4. Ejo hazaza h'ibisigisigi bisigaye
  5. Kubishyira mubikorwa
  6. Komeza Ubushakashatsi
  7. Ibibazo bikunze kubazwa

Incamake

Nibyiza kuko ni moteri inyuma ya codecs igezweho ya kijyambere nka SoundStream na EnCodec hamwe na tokenizer kumajwi yabyara.

Kwibira cyane

Umubare wuzuye wa vector (VQ) usimbuza icyerekezo gikomeza hamwe nicyinjira hafi yigitabo cyize, ariko codebook imwe ihagije bihagije kubwiza buhanitse yakenera umubare munini winyenyeri. RVQ ikemura ibi mugukurikirana kodegisi ntoya. Igitabo cya mbere codebook itanga igereranya rito; ukuramo kugirango ubone ikosa risigaye, gereranya ibyo bisigara hamwe na codebook ya kabiri, ongera ukuremo, hanyuma ukomeze kuri N ibyiciro. Kode ya nyuma ni urutonde rwibintu byatoranijwe mu byiciro byose, kandi kwiyubaka ni igiteranyo cya codebook zose zatoranijwe. Ibi byerekana kodegisi nini cyane mubuto buto, igabanya cyane kwibuka no kubara mugihe ureka igipimo cya bitrate ukoresheje ibyiciro byinshi cyangwa bike. Quantizer yataye mugihe cyamahugurwa ituma kode ya kare itwara amakuru menshi, igafasha kwangirika kwiza.

Gushyira mu bikorwa Isi

Gutandukanya kodegisi yashizwemo imbere muri SoundStream, EnCodec, na DAC codecs

Gukora amajwi yerekana amajwi AudioLM na MuzikaLM itanga hejuru

Gupima codec ya bitrate hejuru cyangwa hepfo mugukora ibyiciro byinshi cyangwa bike

Gucomeka murwego rwohejuru rwinjizwamo muri sisitemu yo kugarura no kubika ukoresheje codebook zegeranye

Ejo hazaza h'ibisigisigi bisigaye

RVQ yahindutse urwego rusanzwe rwa discretisation ihuza imitekerereze ikomeza yerekana imiterere yibyara ibyara, kandi binonosorwa birakomeza: gukoresha neza codebook kugirango wirinde ibyanditswe 'byapfuye', kodegisi yibikoresho kandi biri munsi, hamwe nibisobanuro byerekana ibimenyetso. Hanze y'amajwi, igitekerezo kimwe gisigaye-gikwirakwiza gikwirakwira kumashusho na videwo yerekana amashusho, ugashyira RVQ nkikiraro rusange hagati ya kodegisi ikomeza hamwe nururimi-rwerekana-imiterere-yimikorere ikurikirana.

Kubishyira mubikorwa

Impamvu ari ngombwa

  • Kugera no kugera. Itezimbere kugerwaho binyuze mu kwandukura, kuvuga, no guhuza amajwi.
  • Igiciro na bije. Amatsinda yibitangazamakuru arashobora kohereza amajwi yihuse hamwe na bije nto.
  • Umuvuduko n'igipimo. Sisitemu ireba abakiriya irashobora gutunganya imikoranire ivugwa murwego runini.

Witondere

  • Gukoresha nabi amajwi no kwigira ibyago byiyongera mugihe uruhushya rubuze.
  • Ukuri kurashobora kugabanuka hejuru yimvugo, imvugo, cyangwa urusaku rwibidukikije.
  • Amajwi yubukorikori arashobora kwibeshya kumvugo yukuri nta kirango gisobanutse.

Intambwe ikurikira

  1. Shaka uruhushya rusobanutse rwo gufata amajwi, gukoroniza, no gukoresha.
  2. Ikizamini cyiza mubiganiro bitandukanye hamwe nuburyo bwimbere.
  3. Sobanura igihe umuntu agomba gusuzuma cyangwa kwemeza ibisubizo.
  4. Andika amajwi yubukorikori kandi ugumane inyandiko zerekana kubazwa.

Komeza Ubushakashatsi

Ibaruwa y'amakuru y'ubuntu

Ibuka amakuru ya buri munsi ya AI

Inkuru eshatu zizewe za AI buri gitondo cy'iminsi y'akazi, zanditse mu rurimi rworoshye. Ubuntu iteka ryose, nta kwamamaza.

Imeri imwe buri munsi y'akazi. Kwiyimura mu buryo bumwe. Ntitwigera tugurisha cyangwa ngo dusangire aderesi yawe.

Isuzume

Take the Residual Vector Quantization quiz

Ibisubizo ako kanya kuri buri kibazo, n'icyemezo gishobora gusangirwa gifite ID yagenzurwa umaze gutsinda isomo.

Tangira ikibazo

Fasha uburezi bwa AI bw'ubuntu. AI Understanding ni umuryango utegamiye kuri leta wa 501(c)(3) — nta kwamamaza, nta kwishyura, iteka ryose. Tanga impano

Ibibazo bikunze kubazwa

Umubare wa Vector usigaye ni iki?

Ibisigisigi bya vector bisigaye (RVQ) nubuhanga buhindura amajwi adahwema gushira mubice byegeranye bya code ya discret mukubara inshuro nyinshi amakosa asigaye. Nibyingenzi kuko ni moteri inyuma ya codecs igezweho ya kijyambere nka SoundStream na EnCodec hamwe na tokenizer kumajwi atanga.

Niki buri gitabo cyakurikiranye muri RVQ kigereranya iki?

Nyuma ya codebook yambere itanga igereranya rito, RVQ irayikuramo ikagereranya ibisigisigi bisigaye hamwe na codebook ikurikira, igasubiramo ibyiciro.

Kuki ukoresha RVQ aho gukoresha code imwe nini?

Kode imwe imwe ihagije kubwiza bwo hejuru yaba nini idasanzwe; gutondekanya M codebooks ya K ibyinjira biha K ^ M guhuza hamwe nububiko buke cyane.

Nigute kwiyubaka kwa nyuma bikorwa kuva kode ya RVQ?

Kwiyubaka ni igiteranyo cya codebook yatoranijwe mu byiciro byose, buri kimwe gikosora ibisigisigi byabanjirije.

Hamwe na M ibyiciro bya K byinjira buriwese, kangahe kode ihuza RVQ ihagarariye?

Guhitamo imwe muri K ibyanditswe kuri buri cyiciro cyigenga gitanga K ^ M ibishoboka byose, mugihe ubitse M * K gusa.

Niyihe ntego isanzwe y 'igihombo cyo kwiyemeza' mugihe uhugura kode ya RVQ?

Igihombo cyo kwiyemeza gihana kodegisi mugihe ibisubizo byayo biva kumurongo watoranijwe wa codebook, bigatuma umubare uhagaze neza; codebooks ubwayo ikunze kuvugurura ikoresheje impuzandengo yimuka.