مکسٹرل اور اسپارس ماڈلز

Sparse models like it activate only a fraction of their parameters per token, cutting compute without sacrificing capability.

Mixtral 8x7B، جو 2023 کے آخر میں Mistral AI کے ذریعے جاری کیا گیا، نے کھلے ماڈلز میں sparse mixture-of-experts (MoE) اپروچ کو مقبول بنایا۔ اس میں فی پرت آٹھ الگ الگ 'ماہر' فیڈ فارورڈ نیٹ ورکس ہیں، جن میں تقریباً 47 بلین کل پیرامیٹرز ہیں، لیکن ایک ہلکا پھلکا راؤٹر ہر ٹوکن کے لیے صرف دو ماہرین کا انتخاب کرتا ہے۔ نتیجتاً، فی ٹوکن تقریباً 13 بلین پیرامیٹرز ہی فعال ہیں، لہٰذا تخمینہ 13B گھنے ماڈل کی طرح تیزی سے چلتا ہے جبکہ اس سے کہیں زیادہ بڑے پیرامیٹر کے مقابلے معیار تک پہنچتا ہے۔ Mixtral بہت سے بینچ مارکس پر GPT-3.5 اور Llama 2 70B کو مماثل یا ہرا دیتا ہے جبکہ سروس تیز اور سستا ہے۔ Mistral نے بعد میں Mixtral 8x22B جاری کیا۔ یہ ماڈل کھلے عام اپاچی 2.0 کے تحت لائسنس یافتہ ہے، جو اوپن سورس کمیونٹی میں تیزی سے اپنانے اور فائن ٹیوننگ کو فروغ دیتا ہے۔