گہرائی کے کوئز کا مرکب

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ٹوکن میں گہرائیوں کا مرکب کیا مختلف ہوتا ہے؟
   • ہر ٹوکن کو کتنی کمپیوٹ (کون سی پرتیں) ملتی ہیں۔
   • استعمال شدہ الفاظ
   • تربیت کا ڈیٹاسیٹ
   • آؤٹ پٹ کی زبان
2. MoD اپنے کمپیوٹ بجٹ کو کس طرح قابل قیاس رکھتا ہے؟
   • تصادفی طور پر آدھے ماڈل کے وزن کو گرا کر
   • ہر بلاک پر ٹوکن کے ایک مقررہ ٹاپ-k فریکشن پر کارروائی کرکے
   • ہر جملے کے لیے ایک مختلف ماڈل استعمال کرکے
   • توجہ کو مکمل طور پر غیر فعال کر کے
3. ان ٹوکنز کا کیا ہوتا ہے جنہیں راؤٹر دیئے گئے بلاک پر منتخب نہیں کرتا؟
   • انہیں ترتیب سے حذف کر دیا گیا ہے۔
   • انہیں الگ ماڈل میں بھیجا جاتا ہے۔
   • وہ بقایا کنکشن کے ذریعے بلاک کو چھوڑ دیتے ہیں، بغیر کسی تبدیلی کے گزرتے ہیں۔
   • وہ تصویروں میں تبدیل ہو جاتے ہیں۔
4. کس لیب نے گہرائیوں کی تکنیک کا مرکب شائع کیا؟
   • 2019 میں OpenAI
   • 2015 میں Meta
   • 2012 میں Microsoft
   • Google 2024 میں ڈیپ مائنڈ
5. ایم او ڈی کو مکسچر آف ایکسپرٹس کے ساتھ ملانے سے کیا پیدا ہوتا ہے؟
   • موڈ، جو گہرائی اور ماہر انتخاب دونوں پر چلتا ہے۔
   • ایک ماڈل جس میں کوئی پیرامیٹرز نہیں ہیں۔
   • ایک خالص convolutional نیٹ ورک
   • صرف ٹوکنائزر سسٹم
6. MoD میں فی ٹوکن تھریشولڈ پر فکسڈ ٹاپ-k کو کیوں ترجیح دی جاتی ہے؟
   • یہ ماڈل آؤٹ پٹ کو بے ترتیب متن بناتا ہے۔
   • یہ ٹینسر کی شکلوں کو جامد رکھتا ہے، جو ہارڈ ویئر پر موثر ہے۔
   • یہ تربیت کی ضرورت کو دور کرتا ہے۔
   • یہ الفاظ کے سائز کو بڑھاتا ہے۔
7. What does the learned router do at a Mixture-of-Depths block?
   • Selects a new model family for every prompt
   • Predicts labels for the next training batch
   • Scores tokens so the block can select which ones receive full attention and MLP computation
   • Changes the vocabulary size at inference
8. Why does causal generation in MoD use auxiliary predictors for routing?
   • To let a model read the entire answer before generating
   • To remove the fixed top-k compute budget
   • To convert the sequence into an image
   • To make routing decisions without looking at future tokens