الدليل الفني
PagedAttention وvLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
الغوص العميق
عندما يقوم نموذج لغة بإنشاء نص، فإنه يحتفظ بـ "ذاكرة تخزين مؤقت KV" (متجهات المفاتيح والقيمة) لكل رمز مميز يراه حتى يتمكن الرمز المميز التالي من حضور السياق الكامل. تقليديًا، يحجز كل طلب لوحًا واحدًا كبيرًا متجاورًا من ذاكرة وحدة معالجة الرسومات (GPU) بحجم مناسب لأقصى طول ممكن، مما يؤدي إلى إهدار كميات هائلة عندما تكون التسلسلات أقصر أو متنوعة في الطول. يستعير PagedAttention، الذي تم تقديمه في ورقة vLLM لعام 2023 من جامعة كاليفورنيا في بيركلي، فكرة ترحيل صفحات الذاكرة الافتراضية من أنظمة التشغيل: فهو يقسم ذاكرة التخزين المؤقت KV إلى كتل ذات حجم ثابت يمكن أن تعيش في أي مكان في الذاكرة ويتم تخصيصها عند الطلب. يقوم جدول البحث بتعيين مواضع الرموز المنطقية للكتل الفعلية. يؤدي هذا إلى القضاء على تجزئة الذاكرة تقريبًا ويتيح مشاركة الكتل، على سبيل المثال عبر مخرجات متعددة من نفس الموجه.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل PagedAttention وvLLM
أصبح vLLM العمود الفقري الافتراضي للاستدلال مفتوح المصدر، وتظهر أفكار PagedAttention الآن عبر معظم مجموعات الخدمة. توقع تخزينًا مؤقتًا أعمق للبادئات (إعادة استخدام مطالبات النظام المخزنة مؤقتًا عبر المستخدمين)، والتعبئة المسبقة وفك التشفير على أجهزة منفصلة، وسياسات إخلاء أكثر ذكاءً، وتكاملًا محكمًا مع القياس الكمي وفك التشفير التخميني. مع نمو نوافذ السياق إلى ملايين الرموز المميزة، تصبح إدارة KV المقسمة إلى صفحات أكثر أهمية للحفاظ على الخدمة بأسعار معقولة.
التنفيذ في العالم الحقيقي
استضافة واجهة برمجة تطبيقات LLM مفتوحة المصدر حيث يخدم vLLM العديد من مستخدمي الدردشة المتزامنين من وحدة معالجة رسومات واحدة بإنتاجية عالية
مشاركة موجه نظام طويل عبر آلاف الطلبات عبر التخزين المؤقت للبادئة بحيث تتم معالجتها مرة واحدة، وليس بشكل متكرر
تشغيل بحث الشعاع أو عمليات إكمال العينات المتعددة التي تشترك في كتل KV للموجه المشترك عبر النسخ عند الكتابة
قطع نفايات ذاكرة وحدة معالجة الرسومات (GPU) الناتجة عن التجزئة حتى يتمكن المزود من حزم المزيد من الجلسات المتزامنة على نفس الجهاز
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the PagedAttention and vLLM quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الأسئلة المتداولة
What is PagedAttention and vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
ما الذي تخزنه "ذاكرة التخزين المؤقت KV" أثناء إنشاء النص؟
تحتفظ ذاكرة التخزين المؤقت KV بمتجهات المفتاح والقيمة لكل رمز مميز سابق، مما يسمح للنموذج بحضور السياق الكامل دون إعادة حسابه في كل خطوة.
ما هو مفهوم نظام التشغيل الذي ألهم PagedAttention؟
يستعير PagedAttention ترحيل صفحات الذاكرة الافتراضية: يتم تقسيم ذاكرة التخزين المؤقت KV إلى صفحات ذات حجم ثابت يمكن أن تعيش في أي مكان، ويتم تعيينها بواسطة جدول كتلة.
ما هي مشكلة تخصيص ذاكرة التخزين المؤقت التقليدية لـ KV التي يحلها PagedAttention؟
يؤدي حجز لوح واحد كبير متجاور لكل طلب، بحجم يناسب الحد الأقصى للطول، إلى إهدار كميات هائلة من ذاكرة وحدة معالجة الرسومات. يخصص الترحيل كتلًا صغيرة حسب الطلب، مما يقلل من النفايات.
كيف يسمح PagedAttention لمخرجات متعددة بمشاركة الذاكرة لمطالبة مشتركة؟
تشير البادئات المتطابقة (المطالبات المشتركة أو فروع بحث الحزمة) إلى نفس صفحات KV الفعلية، ولا يتم نسخها إلا عندما يتباعد الفرع.
أين تم تطوير vLLM وPagedAttention في الأصل؟
خرجت vLLM وخوارزمية PagedAttention من جامعة كاليفورنيا في بيركلي في ورقة بحثية عام 2023 وسرعان ما أصبحت محرك خدمة مفتوح المصدر مستخدمًا على نطاق واسع.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع