तकनीकी गाइड
केवी कैश अनुकूलन
केवी कैश उन कुंजियों और मानों को संग्रहीत करता है जिनकी गणना ट्रांसफार्मर ने पहले ही कर ली है, इसलिए यह हर नए टोकन के लिए दोबारा काम नहीं करता है - लेकिन यह गीगाबाइट तक बढ़ सकता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
केवी कैश अनुकूलन उस मेमोरी को सिकोड़ता है और प्रबंधित करता है ताकि मॉडल एक साथ अधिक उपयोगकर्ताओं को लंबे संदर्भ प्रदान कर सकें।
गहरा गोता
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
वास्तविक विश्व कार्यान्वयन
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
लामा मॉडल में समूहीकृत-क्वेरी ध्यान केवी कैश आकार को कम करता है ताकि लंबे संदर्भ जीपीयू मेमोरी में फिट हो सकें
लंबे दस्तावेज़ सारांश के दौरान कैश मेमोरी को लगभग आधा करने के लिए KV कैश को 8-बिट (KV8) तक परिमाणित करना
उपसर्ग कैशिंग जो हजारों एपीआई अनुरोधों में साझा सिस्टम प्रॉम्प्ट के केवी ब्लॉक का पुन: उपयोग करता है
केवी कैश अनुकूलन का भविष्य
जैसे-जैसे संदर्भ विंडो सैकड़ों हजारों या लाखों टोकन तक फैलती है, केवी कैश सेवा की प्रमुख लागत बन जाती है। आक्रामक कैश संपीड़न और निष्कासन (कम ध्यान वाले टोकन को छोड़ना), डिफ़ॉल्ट के रूप में क्रॉस-रिक्वेस्ट उपसर्ग साझाकरण, सीपीयू या एनवीएमई पर कोल्ड कैश को ऑफलोड करना और एमएलए और जीक्यूए जैसे आर्किटेक्चर मानक बनने की अपेक्षा करें। कैश प्रबंधन तेजी से स्तरों और स्मार्ट प्रीफ़ेचिंग के साथ पूर्ण मेमोरी पदानुक्रम जैसा होगा।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the KV Cache Optimization quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
केवी कैश अनुकूलन क्या है?
केवी कैश उन कुंजियों और मानों को संग्रहीत करता है जिनकी गणना ट्रांसफार्मर ने पहले ही कर ली है, इसलिए यह हर नए टोकन के लिए दोबारा काम नहीं करता है - लेकिन यह गीगाबाइट तक बढ़ सकता है। केवी कैश अनुकूलन उस मेमोरी को सिकोड़ता है और प्रबंधित करता है ताकि मॉडल एक साथ अधिक उपयोगकर्ताओं को लंबे संदर्भ प्रदान कर सकें।
KV कैश क्या संग्रहीत करता है और क्यों?
पूर्व टोकन से कुंजियाँ और मान कैशिंग करने से हर नए टोकन पर ध्यान की गणना दोबारा करने से बचा जा सकता है, जिससे समय की बचत होती है।
केवी कैश मेमोरी समस्या क्यों बन सकता है?
संदर्भ की लंबाई और समवर्तीता के साथ कैश आकार का पैमाना होता है, इसलिए लंबे अनुरोध भारी मात्रा में जीपीयू मेमोरी का उपयोग कर सकते हैं।
पेजेडअटेंशन किस ऑपरेटिंग-सिस्टम अवधारणा को उधार लेता है?
PagedAttention कैश को OS पेजिंग की तरह, एक तालिका के माध्यम से मैप किए गए गैर-सन्निहित निश्चित आकार के ब्लॉक में संग्रहीत करता है।
ग्रुप्ड-क्वेरी और मल्टी-क्वेरी अटेंशन केवी कैश आकार को कैसे कम करते हैं?
एकाधिक क्वेरी शीर्षों में कुंजी/मूल्य शीर्षों को साझा करने का अर्थ है संग्रहीत करने के लिए बहुत कम K और V वैक्टर।
KV कैश में उपसर्ग साझाकरण का एक लाभ क्या है?
एक साझा सिस्टम प्रॉम्प्ट समान KV प्रविष्टियाँ उत्पन्न करता है, इसलिए एकाधिक अनुरोध उन्हें डुप्लिकेट करने के बजाय समान ब्लॉकों को इंगित कर सकते हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं