Hagaajinta KV Cache
Kaydka KV waxa uu kaydiyaa furayaasha iyo qiyamka taransfooriyuhu mar hore xisaabiyay si aanu dib ugu soo celin shaqada calaamad kasta oo cusub - laakiin waxa ay ku shubi kartaa gigabytes.
Dulmar
KV cache optimization waxay yareeyaa oo maamushaa xasuustaas si moodooyinka ay u adeegaan macne dheer oo isticmaaleyaal badan hal mar.
quusid qoto dheer
Transformer-ka, calaamo kasta oo cusubi waxa ay la socotaa dhammaan calaamadihii hore iyada oo loo marayo furayaasha dareenka (K) iyo qiyamka (V). Dib u xisaabinta K iyo V ee isku xigxiga oo dhan tillaabo kasta waxay noqonaysaa afar-geesood iyo khasaare, markaa moodooyinka ayaa kaydiya: kaydka KV. Dhinaca hoose waa cabbirka. Cache-ku si toos ah ayuu ugu koraa dhererka isku xigxiga, cabbirka dufcadda, lakabyada, iyo madaxyada, sidaa darteed codsiga mawduuca dheer wuxuu cuni karaa xusuusta GPU-da ka badan marka loo eego miisaanka moodeelka laftiisa. Hagaajinta waxay tan ka xalinaysaa dhinacyo badan: xusuusta bogga leh (vLLM's PagedAttention) waxay ku kaydisaa kaydka meelo aan xidhiidhin si ay meesha uga saarto kala qaybsanaan una suurtageliso wadaagga; qiyaasaha K iyo V ee 8-bit ama 4-bit; iyo isbeddellada qaab dhismeedka sida Feejignaanta Kooxeed-Su'aallaha (GQA) iyo Feejignaanta Weydiimaha Badan (MQA) u oggolaadaan madax badan oo weydiimo ah inay wadaagaan madax furayaal/qiimo yar, iyaga oo jaraya cabbirka kaydka isha.
Aragtida Farsamada
PagedAttention waxay ka amaahanaysaa xusuusta-virtual-memory ee nidaamyada hawlgalka: kaydku wuxuu ku nool yahay baloogyo cabbir go'an oo lagu sawiray miiska raadinta, markaa codsiyada waxay adeegsadaan oo keliya baloogyada ay u baahan yihiin iyo horgaleyaal isku mid ah (sida nidaamka degdegga ah ee la wadaago) waxay tilmaamayaan isla blocks. Multi-head Attention Attention (MLA), oo lagu isticmaalo moodooyinka DeepSeek, waxay ku cadaadisaa K iyo V qayb yar oo qarsoon oo la wadaago, taasoo si wayn u jaraysa xusuusta iyadoo la ilaalinayo saxnaanta.
Saamaynta Istiraatijiyadeed
Qiimaha iyo miisaaniyada
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamo cad
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Xakamaynta tayada
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Mustaqbalka KV Cache Optimization
Sida daaqadaha macnaha guud ay u fidiyaan boqolaal kun ama malaayiin calaamado ah, khasnadda KV waxay noqotaa kharashka ugu badan ee adeega. Filo cache qallafsan iyo ka saarid (hoos u dhigista calaamadaha feejignaanta hoose), wadaagista horgalayaasha codsiga horgalayaasha sida caadiga ah, u rarida kaydinta qabow CPU ama NVMe, iyo naqshadaha sida MLA iyo GQA oo noqda heer. Maareynta khasnadda waxay si sii kordheysa ugu ekaan doontaa kala sareynta xusuusta buuxda oo leh heerar iyo horudhac caqli leh.
Dhaqangelinta Adduunka-dhabta ah
vLLM's Paged Feejignaanta u adeegaya kulamo badan oo wada sheekaysi ah iyadoo xidhidhiyaha KV-ga iyada oo aan la kala qaybin xusuusta
Feejignaanta-kooxeed-Su'aalaha ee moodooyinka Llama waxay yaraynaysaa cabbirka khasnadda KV si ay macnaha guud ugu habboonaato xusuusta GPU-da
Ku qiyaasida khasnadda KV ilaa 8-bit (KV8) si qiyaas ahaan kala bar xusuusta kaydinta muddada dheer ee koobitaanka
Horgale kaydinta oo dib u adeegsata baloogyada KV ee nidaamka la wadaago isla markiiba kumanaan codsiyo API ah
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the KV Cache Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
KV Cache
Su'aalaha soo noqnoqda
Waa maxay KV Cache Optimization?
Kaydka KV waxa uu kaydiyaa furayaasha iyo qiyamka taransfooriyuhu mar hore xisaabiyay si aanu dib ugu soo celin shaqada calaamad kasta oo cusub - laakiin waxa ay ku shubi kartaa gigabytes. Hagaajinta kaydinta KV way yaraataa oo waxay maamushaa xusuustaas sidaa darteed moodellada waxay u adeegaan duruufo dhaadheer isticmaaleyaal badan hal mar.
Waa maxay kaydka KV iyo sababta?
Kaydinta furayaasha iyo qiyamka calaamadihii hore waxay ka fogaanaysaa in dib loo sameeyo xisaabinta feejignaanta calaamad kasta oo cusub, wakhti badbaadisa.
Muxuu kaydka KV u noqon karaa dhibaato xusuusta?
Cabbirka cache ee leh dhererka macnaha guud iyo isdhaafsiga, markaa codsiyada dheer waxay isticmaali karaan xaddi aad u badan oo xusuusta GPU ah.
Waa maxay fikradda nidaamka hawlgalka ee PagedAttention amaahdo?
PagedAttention waxay ku kaydisaa khasnadaha baloogyada cabbirka go'an ee aan xidhiidhin ee lagu dhex sameeyay miis, sida bogga OS.
Sidee Su'aalo-kooxeed iyo Feejignaan Su'aalo-badan u dhimaan cabbirka kaydka KV?
Wadaagista madaxyada muhiimka ah/qiimaha ee madax waydiimo badan waxay ka dhigan tahay in aad ka yar K iyo V vectors in la kaydiyo.
Waa maxay hal faa'iido oo wadaaga horgalaha ee kaydka KV?
Nidaam la wadaago oo degdeg ah ayaa soo saara gelisyo isku mid ah oo KV ah, sidaa darteed codsiyo badan ayaa tilmaami kara baloogyo isku mid ah intii la nuqulin lahaa.