گائیڈ سے منسلک کوئز · مشکل سطح
ریاستی خلائی ماڈلز اور مامبا کوئز
ریاستی خلائی ترتیب کی پیچیدگی، مامبا سلیکٹیوٹی، ہارڈ ویئر سے آگاہ اسکین، بار بار ہونے والی انفرنس اسٹیٹ، اور ہائبرڈ ماڈلز کی جانچ کریں۔
سوال 1 کی 8
معیاری خود توجہ کے مقابلے میں ایک ریاستی خلائی ماڈل ترتیب کی لمبائی کے ساتھ کیسے پیمانہ کرتا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- معیاری خود توجہ کے مقابلے میں ایک ریاستی خلائی ماڈل ترتیب کی لمبائی کے ساتھ کیسے پیمانہ کرتا ہے؟
- لکیری طور پر، بمقابلہ توجہ کی چوکور اسکیلنگ
- چوکور طور پر، توجہ کی لکیری اسکیلنگ کے مقابلے میں
- دونوں پیمانے یکساں ہیں۔
- دونوں کے لیے تیزی سے
- وہ مرکزی اختراع کیا ہے جسے Mamba نے S4 جیسے پہلے سے بنائے گئے SSMs میں شامل کیا؟
- اندرونی طور پر softmax توجہ کا استعمال کرتے ہوئے
- اسٹیٹ اپ ڈیٹ کے پیرامیٹرز بنانا ان پٹ (سلیکٹیوٹی) پر منحصر ہے
- پوشیدہ حالت کو مکمل طور پر ہٹانا
- کواڈریٹک ٹائم کمپیوٹیشن پر سوئچ کرنا
- مامبا کو کسٹم ہارڈ ویئر سے آگاہ متوازی اسکین کی ضرورت کیوں تھی؟
- کیونکہ GPUs میٹرکس ضرب نہیں کر سکتے
- تہوں کی تعداد کو کم کرنے کے لیے
- کیونکہ ان پٹ پر منحصر پیرامیٹرز بنانے سے کنولیشن کی سادہ چال ٹوٹ جاتی ہے۔
- کیونکہ یہ کوئی سیکھے ہوئے پیرامیٹرز کا استعمال نہیں کرتا ہے۔
- تخمینہ کے دوران، مامبا جیسے SSM کا ایک اہم فائدہ یہ ہے کہ یہ استعمال کرتا ہے:
- میموری جو مکمل ترتیب کی لمبائی کے ساتھ بڑھتی ہے، جیسے KV کیش
- بالکل بھی یاد نہیں۔
- مساوی سائز کے ٹرانسفارمر سے زیادہ میموری
- تقریباً مستقل میموری فی جنریٹڈ ٹوکن
- کلاسک سٹرکچرڈ SSMs میں (انتخاب سے پہلے)، تکرار کو مؤثر طریقے سے شمار کیا جا سکتا ہے کیونکہ اسے دوبارہ لکھا جا سکتا ہے:
- طویل کنولیشن
- سافٹ میکس آپریشن
- فیصلہ کن درخت
- بے ترتیب جنگل
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- ڈھیر
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation