नकारात्मक नमूनाकरण और शोर विरोधाभासी अनुमान

जब एक शब्दावली में सैकड़ों हजारों शब्द होते हैं, तो एक सामान्य सॉफ्टमैक्स को प्रत्येक प्रशिक्षण चरण के लिए प्रत्येक शब्द पर सामान्यीकृत होना चाहिए - बहुत धीमी गति से। शोर विरोधाभासी अनुमान समस्या को द्विआधारी वर्गीकरण के रूप में फिर से परिभाषित करता है: एक ज्ञात वितरण से लिए गए लक्ष्य और कुछ 'शोर' नमूनों को देखते हुए, शोर से सच्चे नमूने को अलग करना सीखें, जो स्पष्ट रूप से सामान्यीकरण के बिना वांछित संभावनाओं को पुनर्प्राप्त करता है। नकारात्मक नमूनाकरण, Word2vec के स्किप-ग्राम मॉडल द्वारा लोकप्रिय, एक सरलीकृत चचेरा भाई है: प्रत्येक सच्चे (शब्द, संदर्भ) जोड़े के लिए यह k नकारात्मक का नमूना लेता है और एक सिग्मॉइड उद्देश्य का उपयोग करके वास्तविक जोड़े को उच्च स्कोर और नकली को कम स्कोर प्रदान करने के लिए मॉडल को प्रशिक्षित करता है। दोनों एक महंगी मल्टी-क्लास समस्या को कई सस्ते बाइनरी में बदल देते हैं, जिससे बड़े पैमाने पर एम्बेडिंग प्रशिक्षण व्यावहारिक हो जाता है। शोर वितरण का विकल्प (अक्सर यूनिग्राम को 3/4 पावर तक बढ़ाया जाता है) गुणवत्ता को दृढ़ता से प्रभावित करता है।