ملٹی ہیڈ لیٹنٹ اٹینشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. بنیادی مسئلہ کیا ہے ملٹی ہیڈ لیٹنٹ اٹینشن کو کم کرنے کے لیے ڈیزائن کیا گیا ہے؟
   • قیاس کے دوران کلیدی قدر کیشے کی میموری کی قیمت
   • تربیتی ڈیٹا کی کمی
   • ماڈل پیرامیٹرز کی تعداد
   • ٹوکنائزر الفاظ کا سائز
2. ایم ایل اے کے وی کیشے کو کیسے سکڑتا ہے؟
   • یہ کیشے سے پرانے ٹوکنز کو حذف کر دیتا ہے۔
   • یہ مکمل فی سر کلیدوں اور قدروں کے بجائے ایک چھوٹے سے کم درجے کے لیٹنٹ ویکٹر کو اسٹور کرتا ہے۔
   • یہ ہر چیز کے لیے 1 بٹ وزن کا استعمال کرتا ہے۔
   • یہ کچھ ٹوکنز پر پوری طرح توجہ چھوڑ دیتا ہے۔
3. کس ماڈل نے سب سے پہلے ملٹی ہیڈ لیٹنٹ اٹینشن متعارف کرایا؟
   • GPT-2
   • بی آر ٹی
   • DeepSeek-V2
   • لاما 1
4. ایم ایل اے کو روٹری پوزیشن ایمبیڈنگس کے لیے علیحدہ 'ڈیکپلڈ' راستے کی ضرورت کیوں ہے؟
   • کیونکہ عہدے توجہ کے لیے غیر متعلق ہیں۔
   • کیونکہ RoPE الفاظ کو دوگنا کرتا ہے۔
   • کیونکہ یہ آپٹیمائزر کو تیز کرتا ہے۔
   • کیونکہ گردش کو باقی کلید کی طرح جذب شدہ اپ پروجیکشن میں فولڈ نہیں کیا جا سکتا
5. ڈیپ سیک-V2 نے ایم ایل اے بمقابلہ معیاری ملٹی ہیڈ توجہ کے مقابلے میں KV-کیشے میموری میں کتنی کمی کی؟
   • 90% سے زیادہ
   • تقریباً 5%
   • بالکل 50%
   • کوئی کمی نہیں، صرف رفتار میں اضافہ
6. ایم ایل اے کے چھوٹے فی ٹوکن کیشے سے براہ راست کیا عملی فائدہ ہوتا ہے؟
   • کسی بھی GPU کی ضرورت کا خاتمہ
   • ایک ہی ہارڈ ویئر پر بڑے انفرنس بیچ سائز اور لمبے سیاق و سباق
   • تمام زبانوں میں خودکار ترجمہ
   • سافٹ میکس آپریشن کو ہٹانا
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections