InayofuataMwongozo unaofuata
Upachikaji wa Spika wa X-Vector
Sauti AI
MWONGOZO WA AI wa Sauti
Ukadiriaji wa Vekta iliyobaki
Ukadiriaji wa vekta ya mabaki (RVQ) ni mbinu inayogeuza upachikaji wa sauti unaoendelea kuwa rundo la misimbo ya kipekee kwa kukadiria mara kwa mara hitilafu iliyosalia.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It matters because it is the engine behind modern neural codecs like SoundStream and EnCodec and the tokenizer for generative audio.
Dive ya kina
Ukadiriaji wa vekta ya kawaida (VQ) huchukua nafasi ya vekta inayoendelea na ingizo la karibu zaidi katika kitabu cha msimbo kilichojifunza, lakini kitabu kimoja cha msimbo faini ya kutosha kwa ubora wa juu kitahitaji idadi kubwa ya maingizo. RVQ hutatua hili kwa kuachia vitabu kadhaa vidogo vya msimbo. Kitabu cha kwanza cha msimbo hutoa makadirio mabaya; unaitoa ili kupata hitilafu iliyobaki, punguza mabaki hayo kwa kijitabu cha pili cha msimbo, toa tena, na uendelee kwa hatua N. Msimbo wa mwisho ni orodha ya fahirisi zilizochaguliwa katika hatua zote, na ujenzi upya ni jumla ya vekta zote za kitabu cha msimbo zilizochaguliwa. Hili huweka daftari kubwa la msimbo linalofaa kuwa nyingi ndogo, ikikata kumbukumbu na kukokotoa huku ikiruhusu kiwango cha biti kwa kutumia hatua zaidi au chache. Kuacha kwa quantizer wakati wa mafunzo hufanya vitabu vya awali vya msimbo kubeba taarifa nyingi zaidi, kuwezesha uharibifu wa ubora unaopendeza.
Utekelezaji wa Ulimwengu Halisi
Kupambanua upachikaji wa usimbaji ndani ya SoundStream, EnCodec, na kodeki za neva za DAC
Inazalisha tokeni za sauti zenye safu ambazo AudioLM na MusicLM hutengeneza
Kuongeza kasi ya biti ya kodeki juu au chini kwa kuwezesha hatua zaidi au chache za kidhibiti
Kubana upachikaji wa hali ya juu katika mifumo ya kurejesha na kuhifadhi kwa kutumia vitabu vya msimbo vilivyopangwa kwa rafu
Mustakabali wa Ukadiriaji wa Vekta Mabaki
RVQ imekuwa safu ya kawaida ya upambanuzi inayounganisha uwakilishi unaoendelea wa neva kwa miundo ya uzalishaji inayotegemea tokeni, na uboreshaji unaendelea: utumiaji bora wa kitabu cha msimbo ili kuepuka maingizo 'yaliyokufa', vitabu vya msimbo vilivyojumuishwa na vyenye mwelekeo wa chini, na safu za ishara zenye maana kisemantiki. Zaidi ya sauti, wazo lile lile la kuweka mrundikano linaenea kwa viashiria vya picha na video, na kuweka RVQ kama daraja la jumla kati ya visimbaji mfululizo na jenereta za mfuatano wa modeli ya lugha.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kufikia na kufikia. Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
- Gharama na bajeti. Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
- Kasi na kiwango. Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Jihadharini na
- Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
- Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
- Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Hatua zinazofuata
- Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
- Jaribu ubora kwenye spika na hali mbalimbali za usuli.
- Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
- Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Residual Vector Quantization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Residual Vector Quantization?
Ukadiriaji wa vekta ya mabaki (RVQ) ni mbinu inayogeuza upachikaji wa sauti unaoendelea kuwa rundo la misimbo ya kipekee kwa kukadiria mara kwa mara hitilafu iliyosalia. Ni muhimu kwa sababu ndiyo injini iliyo nyuma ya kodeki za kisasa za neural kama vile SoundStream na EnCodec na kiashiria cha sauti mzalishaji.
Je, kila kitabu cha msimbo kinachofuatana katika RVQ kinakadiria nini?
Baada ya kitabu cha msimbo cha kwanza kutoa makadirio magumu, RVQ huiondoa na kuhesabu mabaki yaliyosalia na kitabu cha msimbo kinachofuata, ikijirudia katika hatua zote.
Kwa nini utumie RVQ badala ya kitabu kimoja kikubwa cha msimbo?
Kitabu cha msimbo kimoja kinachotosha ubora wa juu kitakuwa kikubwa kisichowezekana; kuweka vitabu vya msimbo vya M vya maingizo ya K kunatoa michanganyiko ya K^M yenye hifadhi ndogo sana.
Je, ujenzi wa mwisho unaundwaje kutoka kwa nambari za RVQ?
Uundaji upya ni jumla ya vekta za kitabu cha msimbo zilizochaguliwa katika hatua zote, kila moja ikirekebisha mabaki ya zile za awali.
Kwa hatua M za maingizo K kila moja, RVQ inawakilisha michanganyiko mingapi ya msimbo?
Kuchagua moja ya maingizo K katika kila hatua huru ya M hutoa michanganyiko inayowezekana ya K^M, huku ikihifadhi vekta za M*K pekee.
Je, madhumuni ya kawaida ya 'hasara ya ahadi' ni nini wakati wa mafunzo ya vitabu vya misimbo vya RVQ?
Hasara ya kujitolea huadhibu kisimba wakati matokeo yake yanapoondoka kutoka kwa vekta zilizochaguliwa za kitabu cha msimbo, na kuweka ukadiriaji ukiwa thabiti; codebooks zenyewe mara nyingi husasishwa kupitia wastani wa kusonga mbele.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii