أخذ العينات السلبية والتقدير التقابلي للضوضاء

عندما تحتوي المفردات على مئات الآلاف من الكلمات، يجب أن يتم تطبيع softmax العادي لكل كلمة في كل خطوة تدريب - وهو بطيء جدًا. يعيد تقدير تباين الضوضاء صياغة المشكلة كتصنيف ثنائي: بالنظر إلى هدف وعدد قليل من عينات "الضوضاء" المستمدة من توزيع معروف، تعلم كيفية التمييز بين العينة الحقيقية والضوضاء، مما يسترد ضمنيًا الاحتمالات المطلوبة دون تطبيع صريح. أخذ العينات السلبية، الذي شاع بواسطة نموذج تخطي غرام الخاص بـ word2vec، هو ابن عم مبسط: لكل زوج حقيقي (كلمة، سياق) يقوم بأخذ عينات من السلبيات ويدرب النموذج لتعيين درجة عالية للزوج الحقيقي ودرجة منخفضة للزوج المزيف، باستخدام هدف سيني. كلاهما يحول مشكلة باهظة الثمن متعددة الفئات إلى العديد من المشكلات الثنائية الرخيصة، مما يجعل التدريب على التضمين واسع النطاق عمليًا. يؤثر اختيار توزيع الضوضاء (غالبًا ما يتم رفع unigram إلى قوة 3/4) بشكل كبير على الجودة.