گہرائیوں کا مرکب

معیاری ٹرانسفارمرز ہر پرت کو ہر ٹوکن پر لاگو کرتے ہیں، حتیٰ کہ اوقاف جیسے معمولی پر بھی۔ گہرائیوں کا مرکب، جو 2024 میں Google DeepMind کے ذریعے متعارف کرایا گیا، ہر بلاک پر ایک چھوٹا سا راؤٹر شامل کرتا ہے جو مکمل خود توجہ اور MLP حساب سے گزرنے کے لیے ٹوکن کے ایک مقررہ ٹاپ-k حصے کو منتخب کرتا ہے۔ باقی ایک بقایا کنکشن کے ذریعے بلاک کو چھوڑ دیں۔ چونکہ فی پرت صرف k ٹوکن پر کارروائی کی جاتی ہے، اس لیے کل کمپیوٹ (FLOPs) پہلے سے متحرک گہرائی کے طریقوں کے برعکس جو غیر متوقع طور پر مختلف ہوتے ہیں، کیپ اور پہلے سے معلوم ہوتا ہے۔ یہ بیچنگ اور ہارڈ ویئر کے استعمال کو موثر بناتا ہے۔ MoD کے تربیت یافتہ ماڈلز فی فارورڈ پاس میں کم FLOPs کا استعمال کرتے ہوئے بیس لائن ٹرانسفارمر کے معیار سے مماثل ہو سکتے ہیں، یا اسی کمپیوٹ میں اعلیٰ معیار تک پہنچ سکتے ہیں، اور یہ خیال قدرتی طور پر 'MoDE' ماڈلز کو گہرائی اور چوڑائی دونوں پر دینے کے لیے مکسچر آف ایکسپرٹس کے ساتھ تیار کرتا ہے۔