ٹیکنیکل گائیڈ
KV کیشے آپٹیمائزیشن
KV کیش ان کنجیوں اور قدروں کو ذخیرہ کرتا ہے جو ایک ٹرانسفارمر نے پہلے ہی شمار کیا ہوا ہے لہذا یہ ہر نئے ٹوکن کے لیے دوبارہ کام نہیں کرتا ہے — لیکن یہ گیگا بائٹس تک غبارہ کر سکتا ہے۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
KV cache optimization shrinks and manages that memory so models serve longer contexts to more users at once.
گہرا غوطہ
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
حقیقی دنیا کا نفاذ
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
لاما ماڈلز میں گروپ شدہ سوال کی توجہ KV کیشے کے سائز کو کم کرتی ہے تاکہ طویل سیاق و سباق GPU میموری میں فٹ ہوجائیں
طویل دستاویز کے خلاصے کے دوران کیش میموری کو تقریباً نصف کرنے کے لیے KV کیشے کو 8-bit (KV8) پر کوانٹائز کرنا
پریفکس کیشنگ جو ہزاروں API درخواستوں میں مشترکہ سسٹم پرامپٹ کے KV بلاکس کو دوبارہ استعمال کرتی ہے۔
KV کیشے آپٹیمائزیشن کا مستقبل
جیسا کہ سیاق و سباق کی کھڑکی سیکڑوں ہزاروں یا لاکھوں ٹوکنز تک پھیلی ہوئی ہے، KV کیش سرونگ کی غالب قیمت بن جاتی ہے۔ جارحانہ کیش کمپریشن اور بے دخلی (کم توجہ والے ٹوکنز چھوڑنا)، بطور ڈیفالٹ کراس ریکوئسٹ پریفکس شیئرنگ، CPU یا NVMe پر کولڈ کیش آف لوڈ کرنے، اور ایم ایل اے اور جی کیو اے جیسے فن تعمیر کے معیاری بننے کی توقع کریں۔ کیشے کا انتظام تیزی سے درجات اور سمارٹ پری فیچنگ کے ساتھ مکمل میموری کے درجہ بندی سے مشابہ ہوگا۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the KV Cache Optimization quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
What is KV Cache Optimization?
KV کیش ان کنجیوں اور قدروں کو ذخیرہ کرتا ہے جو ایک ٹرانسفارمر نے پہلے ہی شمار کیا ہوا ہے لہذا یہ ہر نئے ٹوکن کے لیے دوبارہ کام نہیں کرتا ہے — لیکن یہ گیگا بائٹس تک غبارہ کر سکتا ہے۔ KV کیش آپٹیمائزیشن اس میموری کو سکڑتی اور منظم کرتی ہے تاکہ ماڈلز ایک ساتھ زیادہ صارفین کو طویل سیاق و سباق فراہم کریں۔
KV کیش کیا ذخیرہ کرتا ہے اور کیوں؟
پہلے والے ٹوکنز سے کیشز اور ویلیوز کو کیش کرنا ہر نئے ٹوکن پر توجہ کی گنتی کو دوبارہ کرنے سے گریز کرتا ہے، وقت کی بچت کرتا ہے۔
KV کیش میموری کا مسئلہ کیوں بن سکتا ہے؟
سیاق و سباق کی لمبائی اور ہم آہنگی کے ساتھ کیشے کا سائز پیمانہ، لہذا طویل درخواستیں GPU میموری کی بہت زیادہ مقدار استعمال کرسکتی ہیں۔
PagedAttention کس آپریٹنگ سسٹم کا تصور لیتا ہے؟
PagedAttention OS پیجنگ کی طرح ٹیبل کے ذریعے میپ کیے گئے غیر متصل فکسڈ سائز بلاکس میں کیشے کو اسٹور کرتا ہے۔
گروپ شدہ سوال اور ملٹی سوال کی توجہ KV کیشے کے سائز کو کیسے کم کرتی ہے؟
ایک سے زیادہ استفسار کے سروں پر کلید/ویلیو ہیڈز کا اشتراک کرنے کا مطلب ہے ذخیرہ کرنے کے لیے بہت کم K اور V ویکٹرز۔
KV کیشے میں پریفکس شیئرنگ کا ایک فائدہ کیا ہے؟
ایک مشترکہ سسٹم پرامپٹ ایک جیسی KV اندراجات تیار کرتا ہے، لہذا متعدد درخواستیں ان کو نقل کرنے کے بجائے ایک ہی بلاکس کی طرف اشارہ کر سکتی ہیں۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔