مسابقة ذاكرة التخزين المؤقت KV

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ماذا تخزن ذاكرة التخزين المؤقت KV؟
   • ناقلات المفتاح والقيمة المحسوبة للرموز المميزة السابقة
   • مصفوفات الوزن الكامل للنموذج
   • سجل دردشة المستخدم كنص عادي
   • احتمالات الإخراج النهائية
2. ما هي المشكلة التي تحلها ذاكرة التخزين المؤقت KV بشكل أساسي؟
   • أنه يحسن قواعد النص الذي تم إنشاؤه
   • إنه يتجنب إعادة حساب المفاتيح والقيم لجميع الرموز المميزة السابقة في كل خطوة
   • يزيد من مفردات النموذج
   • يقوم بتشفير المحادثة
3. ما هو الجانب السلبي الرئيسي لذاكرة التخزين المؤقت KV؟
   • يجعل التوليد أبطأ
   • أنه يقلل من جودة الإخراج
   • ينمو استخدام الذاكرة بشكل خطي مع طول السياق
   • إنه يعمل فقط على وحدات المعالجة المركزية (CPUs).
4. ما هي التقنية التي تقلل حجم ذاكرة التخزين المؤقت KV من خلال مشاركة المفاتيح والقيم عبر رؤوس الانتباه؟
   • التسرب
   • بحث شعاع
   • الترميز
   • الاستعلام المجمع أو الاهتمام بالاستعلام المتعدد
5. ما هي مرحلتي استدلال المحولات بالنسبة لذاكرة التخزين المؤقت KV؟
   • التعبئة المسبقة (معالجة المطالبة) وفك التشفير (إنشاء رمز مميز واحد في كل مرة)
   • التدريب والاختبار
   • تشفير وضغط
   • تحميل وتنزيل
6. ما الذي يفعله PagedAttention الخاص بـ vLLM لذاكرة التخزين المؤقت KV؟
   • يحذف ذاكرة التخزين المؤقت بعد كل رمز مميز
   • يخصص ذاكرة التخزين المؤقت في كتل غير متجاورة لتقليل تجزئة الذاكرة
   • تحويل ذاكرة التخزين المؤقت إلى نص
   • مضاعفة عدد معلمات النموذج
7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
   • The cache stores all training examples on the GPU
   • Each request creates a new model copy
   • Each active sequence retains key and value tensors that grow with its generated context
   • The cache stores only final text on disk
8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
   • It makes unrelated prefixes identical
   • It removes the need to compute attention
   • It guarantees lower latency in every workload
   • It can avoid storing duplicate prefix state and reduce memory use