گائیڈ سے منسلک کوئز · درمیانہ سطح
KV کیشے آپٹیمائزیشن کوئز
سیاق و سباق اور ہم آہنگی کے ساتھ KV-کیشے کی ترقی، صفحہ مختص، گروپ کردہ سوال کا اشتراک، سابقہ دوبارہ استعمال کی شرائط، کوانٹائزیشن، اور میموری اسکیلنگ کو چیک کرتا ہے۔
سوال 1 کی 8
KV کیش کیا ذخیرہ کرتا ہے اور کیوں؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- KV کیش کیا ذخیرہ کرتا ہے اور کیوں؟
- پہلے توجہ کی کلیدوں اور اقدار کی گنتی کی گئی تھی تاکہ ہر قدم پر ان کی دوبارہ گنتی نہ کی جائے۔
- دوبارہ تربیت کے لیے ماڈل کا تربیتی ڈیٹا
- تصدیق کے لیے صارف کے پاس ورڈ
- صرف حتمی ٹیکسٹ آؤٹ پٹ
- KV کیش میموری کا مسئلہ کیوں بن سکتا ہے؟
- یہ GPU کو مستقل طور پر کرپٹ کرتا ہے۔
- یہ ترتیب کی لمبائی، بیچ کے سائز، اور تہوں کے ساتھ بڑھتا ہے، بعض اوقات ماڈل کے وزن سے بھی زیادہ ہوتا ہے۔
- یہ صرف 10 الفاظ سے چھوٹے متن پر کام کرتا ہے۔
- یہ آپریٹنگ سسٹم کی نقل تیار کرتا ہے۔
- PagedAttention کس آپریٹنگ سسٹم کا تصور لیتا ہے؟
- ڈسک ڈیفراگمنٹیشن افادیت
- اینٹی وائرس اسکیننگ
- فکسڈ سائز بلاکس کے ساتھ ورچوئل میموری پیجنگ
- اسکرین ریزولوشن اسکیلنگ
- گروپ شدہ سوال اور ملٹی سوال کی توجہ KV کیشے کے سائز کو کیسے کم کرتی ہے؟
- توجہ کے طریقہ کار کو حذف کرکے
- کیشے کو بطور امیجز اسٹور کرکے
- کم ڈیٹا پر تربیت کے ذریعے
- بہت سے سوالات کے سروں کو کم کلید/ویلیو ہیڈز کا اشتراک کرنے کی اجازت دے کر
- KV کیشے میں پریفکس شیئرنگ کا ایک فائدہ کیا ہے؟
- ایک ہی سٹارٹنگ پرامپٹ والی درخواستیں وہی کیشڈ بلاکس کو دوبارہ استعمال کر سکتی ہیں۔
- یہ ماڈل کو خفیہ کرتا ہے۔
- یہ ہر درخواست کو یکساں طور پر سست کرتا ہے۔
- یہ توجہ کی ضرورت کو دور کرتا ہے۔
- Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
- With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
- What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible