مامبا اور سلیکٹیو اسٹیٹ اسپیس کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. معیاری ٹرانسفارمر پر مامبا کا بنیادی کمپیوٹیشنل فائدہ کیا ہے؟
   • یہ چوکور کی بجائے ترتیب کی لمبائی کے ساتھ لکیری طور پر ترازو کرتا ہے۔
   • اسے کسی تربیتی ڈیٹا کی ضرورت نہیں ہے۔
   • یہ صرف تصاویر پر کام کرتا ہے۔
   • یہ کسی بھی پوشیدہ حالت کی ضرورت کو دور کرتا ہے۔
2. مامبا میں لفظ 'انتخابی' سے کیا مراد ہے؟
   • یہ منتخب کرتا ہے کہ کون سا GPU چلنا ہے۔
   • اس کے SSM پیرامیٹرز ان پٹ ٹوکن پر منحصر ہیں، لہذا یہ منتخب کر سکتا ہے کہ کیا یاد رکھنا ہے یا بھولنا ہے۔
   • یہ صرف اسم اور فعل کا انتخاب کرتا ہے۔
   • یہ نظر انداز کرنے کے لیے ٹوکنز کا بے ترتیب ذیلی سیٹ چنتا ہے۔
3. ریاستی خلائی ماڈل کس طرح ترتیب کی تاریخ کی نمائندگی کرتا ہے؟
   • ہر پچھلے ٹوکن کو واضح طور پر ذخیرہ کرکے
   • تمام جوڑوں پر توجہ کا نقشہ کھینچ کر
   • تاریخ کو ایک مقررہ سائز کی پوشیدہ حالت میں سکیڑ کر مرحلہ وار اپ ڈیٹ کیا جاتا ہے۔
   • یہ کوئی تاریخ نہیں رکھتا
4. ممبا تیز رفتار کنولوشن شارٹ کٹ کیوں استعمال نہیں کرسکتا جو پہلے SSMs استعمال کرتے تھے؟
   • کیونکہ GPUs پر convolutions غیر قانونی ہیں۔
   • کیونکہ اس میں کوئی پیرامیٹرز نہیں ہیں۔
   • کیونکہ یہ ٹوکن کو بے ترتیب ترتیب میں پروسیس کرتا ہے۔
   • کیونکہ ان پٹ پر منحصر پیرامیٹرز بنانے سے وقت کی انویریئنس کنولوشنز کی ضرورت ہوتی ہے۔
5. کنولوشن شارٹ کٹ کھونے کے باوجود مامبا تیز رہنے کے لیے کون سی تکنیک استعمال کرتا ہے؟
   • تیز رفتار GPU میموری میں رکھا ہارڈ ویئر سے آگاہ متوازی اسکین
   • مکمل طور پر CPU پر چل رہا ہے۔
   • تمام ٹوکن جوڑوں کو کیش کرنا
   • زیادہ تر ترتیب کو چھوڑنا
6. مامبا کو کس نے متعارف کرایا اور تقریباً کب؟
   • OpenAI 2018 میں
   • البرٹ گو اور ٹرائی ڈاؤ 2023 کے آخر میں
   • 2015 میں Google
   • کوئی نہیں، یہ فرضی ہے۔
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input