ماتریوشکا کی نمائندگی ایمبیڈنگز

Like nested Russian dolls, one embedding contains many usable smaller embeddings.

Kusupati et al. کے ذریعہ 2022 میں متعارف کرایا گیا، Matryoshka Representation Learning ایک واحد ایمبیڈنگ تیار کرتا ہے جس کے سابقے خود اعلیٰ معیار کے سرایت ہوتے ہیں۔ ماڈل کو ایک مشترکہ نقصان کے ساتھ تربیت دی گئی ہے جو بیک وقت متعدد نیسٹڈ ڈائمینشنلٹیز پر کارکردگی کو بہتر بناتا ہے، مثال کے طور پر 8، 16، 32، 2048 ڈائمینشنز تک، سبھی ایک ہی وزن میں ہیں۔ چونکہ ابتدائی نقاط میں سب سے موٹے، سب سے زیادہ امتیازی معلومات ہوتی ہیں، اس لیے آپ پہلے 64 یا 256 نمبروں کو آسانی سے کاٹ سکتے ہیں اور پھر بھی مضبوط نتائج حاصل کر سکتے ہیں، پھر مکمل ویکٹرز کو صرف اس جگہ محفوظ کر سکتے ہیں جہاں درستگی کی اہمیت ہو۔ یہ انکولی تعیناتی کو قابل بناتا ہے: تیز رفتار فرسٹ پاس تلاش کے لیے سستے، کم جہتی ویکٹر، پھر مکمل طوالت والے ویکٹر کے ساتھ دوبارہ درجہ بندی۔ OpenAI کے ٹیکسٹ ایمبیڈنگ-3 ماڈلز نے اس تکنیک پر بنائے گئے ڈائمینشن پیرامیٹر کو بے نقاب کرکے MRL کو مقبول بنایا۔