اختبار مرتبط بالدليل · متوسط المستوى
اختبار تحسين ذاكرة التخزين المؤقت KV
التحقق من نمو ذاكرة التخزين المؤقت KV، والتخصيص المقسم إلى صفحات، ومشاركة الاستعلامات المجمعة، وشروط إعادة استخدام البادئة، والتكميم، وتوسيع نطاق الذاكرة مع السياق والتزامن.
سؤال 1 من 8
ماذا تخزن ذاكرة التخزين المؤقت KV ولماذا؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ماذا تخزن ذاكرة التخزين المؤقت KV ولماذا؟
- مفاتيح وقيم الاهتمام المحسوبة مسبقًا حتى لا يتم إعادة حسابها في كل خطوة
- بيانات التدريب الخاصة بالنموذج لإعادة التدريب
- كلمات مرور المستخدم للمصادقة
- إخراج النص النهائي فقط
- لماذا يمكن أن تصبح ذاكرة التخزين المؤقت KV مشكلة في الذاكرة؟
- إنه يفسد GPU بشكل دائم
- وينمو مع طول التسلسل وحجم الدفعة والطبقات، ويتجاوز أحيانًا أوزان النموذج
- إنه يعمل فقط على النص الذي يقل عن 10 كلمات
- إنه يكرر نظام التشغيل
- ما هو مفهوم نظام التشغيل الذي يستعيره PagedAttention؟
- المرافق لإلغاء تجزئة القرص
- فحص مكافحة الفيروسات
- ترحيل الذاكرة الافتراضية مع كتل ذات حجم ثابت
- تحجيم دقة الشاشة
- كيف يمكن للاستعلام المجمع والانتباه للاستعلام المتعدد تقليل حجم ذاكرة التخزين المؤقت لـ KV؟
- عن طريق حذف آلية الانتباه
- عن طريق تخزين ذاكرة التخزين المؤقت كصور
- من خلال التدريب على بيانات أقل
- من خلال السماح للعديد من رؤوس الاستعلام بمشاركة عدد أقل من رؤوس المفاتيح/القيم
- ما هي إحدى فوائد مشاركة البادئة في ذاكرة التخزين المؤقت KV؟
- يمكن للطلبات التي لها نفس موجه البداية إعادة استخدام نفس الكتل المخزنة مؤقتًا
- يقوم بتشفير النموذج
- إنه يبطئ كل طلب على قدم المساواة
- يزيل الحاجة إلى الاهتمام
- Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
- With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
- What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible