MWONGOZO wa Kiufundi
Uboreshaji wa Akiba ya KV
Akiba ya KV huhifadhi funguo na thamani ambazo kibadilishaji kibadilishaji tayari kimekokotoa kwa hivyo haifanyi kazi tena kwa kila ishara mpya - lakini inaweza kupakia kwenye gigabaiti.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Uboreshaji wa akiba ya KV hupungua na kudhibiti kumbukumbu hiyo ili miundo itumikie muktadha mrefu kwa watumiaji zaidi mara moja.
Dive ya kina
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
Utekelezaji wa Ulimwengu Halisi
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
Uangalifu wa Hoja-ya Kikundi katika miundo ya Llama inayopunguza ukubwa wa akiba ya KV ili miktadha mirefu kutoshea kumbukumbu ya GPU
Kukadiria kashe ya KV hadi 8-bit (KV8) ili kupunguza takriban nusu ya kumbukumbu ya akiba wakati wa muhtasari wa hati ndefu.
Akiba ya kiambishi awali ambacho kinatumia tena vizuizi vya KV vya kidokezo cha mfumo ulioshirikiwa katika maelfu ya maombi ya API
Mustakabali wa Uboreshaji wa Akiba ya KV
Madirisha ya muktadha yanapoenea hadi mamia ya maelfu au mamilioni ya tokeni, kashe ya KV inakuwa gharama kuu ya kutoa huduma. Tarajia mgandamizo mkali wa akiba na uhamishaji (kuacha ishara zenye umakini mdogo), kushiriki kiambishi awali cha ombi tofauti kama chaguo-msingi, kupakua akiba baridi kwenye CPU au NVMe, na usanifu kama vile MLA na GQA kuwa kawaida. Udhibiti wa akiba utazidi kufanana na safu kamili ya kumbukumbu iliyo na viwango na uletaji mahiri.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the KV Cache Optimization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Uboreshaji wa Cache ya KV ni nini?
Akiba ya KV huhifadhi funguo na thamani ambazo kibadilishaji kibadilishaji tayari kimekokotoa kwa hivyo haifanyi kazi tena kwa kila ishara mpya - lakini inaweza kupakia kwenye gigabaiti. Uboreshaji wa akiba ya KV hupungua na kudhibiti kumbukumbu hiyo kwa hivyo miundo itumike miktadha mirefu kwa watumiaji zaidi kwa wakati mmoja.
Kashe ya KV huhifadhi nini na kwa nini?
Vifunguo vya kuweka akiba na thamani kutoka kwa tokeni za awali huepuka kufanya tena hesabu ya umakini kwenye kila tokeni mpya, kuokoa muda.
Kwa nini kashe ya KV inaweza kuwa shida ya kumbukumbu?
Mizani ya ukubwa wa akiba yenye urefu wa muktadha na upatanifu, hivyo maombi marefu yanaweza kutumia kiasi kikubwa cha kumbukumbu ya GPU.
Je, ni dhana gani ya mfumo wa uendeshaji ambayo PagedAttention inakopa?
PagedAttention huhifadhi akiba katika vizuizi vya saizi maalum zisizo shikamana zilizopangwa kupitia jedwali, kama vile ukurasa wa OS.
Je, Maswali ya Kikundi na Umakini wa Maswali mengi hupunguza vipi saizi ya akiba ya KV?
Kushiriki vichwa vya vitufe/thamani kwenye vichwa vingi vya hoja kunamaanisha kuwa ni vekta chache zaidi za K na V za kuhifadhi.
Je, ni faida gani moja ya kushiriki kiambishi awali kwenye kashe ya KV?
Kidokezo cha mfumo ulioshirikiwa hutoa maingizo ya KV yanayofanana, kwa hivyo maombi mengi yanaweza kuelekeza kwenye vizuizi sawa badala ya kuvinakili.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii