KV کیشے کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. KV کیشے کیا ذخیرہ کرتا ہے؟
   • پچھلے ٹوکنز کے لیے شمار کیے گئے کلیدی اور قدر ویکٹر
   • ماڈل کے پورے وزن کے میٹرکس
   • صارف کی چیٹ کی سرگزشت سادہ متن کے طور پر
   • حتمی پیداوار کے امکانات
2. KV کیش بنیادی طور پر کون سا مسئلہ حل کرتا ہے؟
   • یہ تیار کردہ متن کی گرامر کو بہتر بناتا ہے۔
   • یہ ہر قدم پر تمام سابقہ ٹوکنز کے لیے کلیدوں اور اقدار کی دوبارہ گنتی سے گریز کرتا ہے۔
   • اس سے ماڈل کی ذخیرہ الفاظ میں اضافہ ہوتا ہے۔
   • یہ گفتگو کو خفیہ کرتا ہے۔
3. KV کیشے کا بنیادی نقصان کیا ہے؟
   • یہ نسل کو سست بناتا ہے۔
   • یہ آؤٹ پٹ کوالٹی کو کم کرتا ہے۔
   • اس کی میموری کا استعمال سیاق و سباق کی لمبائی کے ساتھ لکیری طور پر بڑھتا ہے۔
   • یہ صرف CPUs پر کام کرتا ہے۔
4. کون سی تکنیک توجہ کے سروں پر کلیدوں اور قدروں کو بانٹ کر KV کیشے کا سائز کم کرتی ہے؟
   • ڈراپ آؤٹ
   • بیم کی تلاش
   • ٹوکنائزیشن
   • گروپ شدہ استفسار یا کثیر استفسار توجہ
5. KV کیشے کے نسبت ٹرانسفارمر انفرنس کے دو مراحل کیا ہیں؟
   • پری فل (پرامپٹ پر کارروائی کریں) اور ڈی کوڈ (ایک وقت میں ایک ٹوکن تیار کریں)
   • تربیت اور جانچ
   • انکوڈ اور کمپریس کریں۔
   • اپ لوڈ اور ڈاؤن لوڈ کریں۔
6. VLLM کی PagedAttention KV کیشے کے لیے کیا کرتا ہے؟
   • ہر ٹوکن کے بعد کیشے کو حذف کرتا ہے۔
   • میموری کے ٹکڑے کو کم کرنے کے لیے غیر متصل بلاکس میں کیشے کو مختص کرتا ہے۔
   • کیشے کو متن میں تبدیل کرتا ہے۔
   • ماڈل کے پیرامیٹر کی تعداد کو دوگنا کرتا ہے۔
7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
   • The cache stores all training examples on the GPU
   • Each request creates a new model copy
   • Each active sequence retains key and value tensors that grow with its generated context
   • The cache stores only final text on disk
8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
   • It makes unrelated prefixes identical
   • It removes the need to compute attention
   • It guarantees lower latency in every workload
   • It can avoid storing duplicate prefix state and reduce memory use