التاليالدليل التالي
ذاكرة التخزين المؤقت كيلو فولت
لغة الذكاء الاصطناعي
الدليل الفني
تحسين ذاكرة التخزين المؤقت KV
تقوم ذاكرة التخزين المؤقت KV بتخزين المفاتيح والقيم التي قام المحول بحسابها بالفعل، لذلك لا يعيد العمل لكل رمز مميز جديد - ولكن يمكن أن يتضخم ليصل إلى الجيجابايت.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
KV cache optimization shrinks and manages that memory so models serve longer contexts to more users at once.
الغوص العميق
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
التنفيذ في العالم الحقيقي
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
يؤدي الاهتمام بالاستعلام المجمع في نماذج Llama إلى تقليل حجم ذاكرة التخزين المؤقت KV بحيث تتناسب السياقات الأطول مع ذاكرة GPU
تحديد حجم ذاكرة التخزين المؤقت KV إلى 8 بت (KV8) لخفض ذاكرة التخزين المؤقت إلى النصف تقريبًا أثناء تلخيص المستندات الطويلة
التخزين المؤقت للبادئة الذي يعيد استخدام كتل KV لموجه النظام المشترك عبر الآلاف من طلبات API
مستقبل تحسين ذاكرة التخزين المؤقت KV
مع امتداد نوافذ السياق إلى مئات الآلاف أو الملايين من الرموز المميزة، تصبح ذاكرة التخزين المؤقت KV هي التكلفة السائدة للخدمة. توقع ضغطًا قويًا لذاكرة التخزين المؤقت وإزالتها (إسقاط الرموز المميزة منخفضة الاهتمام)، ومشاركة بادئة الطلب المتبادل كإعداد افتراضي، وتفريغ ذاكرة التخزين المؤقت الباردة إلى وحدة المعالجة المركزية (CPU) أو NVMe، وتصبح بنيات مثل MLA وGQA قياسية. ستشبه إدارة ذاكرة التخزين المؤقت بشكل متزايد التسلسل الهرمي الكامل للذاكرة مع الطبقات والجلب المسبق الذكي.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the KV Cache Optimization quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is KV Cache Optimization?
تقوم ذاكرة التخزين المؤقت KV بتخزين المفاتيح والقيم التي قام المحول بحسابها بالفعل، لذلك لا يعيد العمل لكل رمز مميز جديد - ولكن يمكن أن يتضخم ليصل إلى الجيجابايت. يعمل تحسين ذاكرة التخزين المؤقت KV على تقليص تلك الذاكرة وإدارتها بحيث تخدم النماذج سياقات أطول لعدد أكبر من المستخدمين في وقت واحد.
ماذا تخزن ذاكرة التخزين المؤقت KV ولماذا؟
يؤدي التخزين المؤقت للمفاتيح والقيم من الرموز المميزة السابقة إلى تجنب إعادة حساب الانتباه على كل رمز مميز جديد، مما يوفر الوقت.
لماذا يمكن أن تصبح ذاكرة التخزين المؤقت KV مشكلة في الذاكرة؟
يتم قياس حجم ذاكرة التخزين المؤقت مع طول السياق والتزامن، بحيث يمكن للطلبات الطويلة استخدام كميات هائلة من ذاكرة وحدة معالجة الرسومات.
ما هو مفهوم نظام التشغيل الذي يستعيره PagedAttention؟
يقوم PagedAttention بتخزين ذاكرة التخزين المؤقت في كتل غير متجاورة ذات حجم ثابت يتم تعيينها من خلال جدول، تمامًا مثل ترحيل صفحات نظام التشغيل.
كيف يمكن للاستعلام المجمع والانتباه للاستعلام المتعدد تقليل حجم ذاكرة التخزين المؤقت لـ KV؟
إن مشاركة رؤوس المفاتيح/القيمات عبر رؤوس استعلام متعددة تعني عددًا أقل بكثير من متجهات K وV التي سيتم تخزينها.
ما هي إحدى فوائد مشاركة البادئة في ذاكرة التخزين المؤقت KV؟
ينتج عن موجه النظام المشترك إدخالات KV متطابقة، بحيث يمكن للطلبات المتعددة الإشارة إلى نفس الكتل بدلاً من تكرارها.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع