गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर

नकारात्मक नमूनाकरण और शोर विरोधाभासी अनुमान प्रश्नोत्तरी

जाँचता है कि एनसीई और नकारात्मक नमूनाकरण शोर उदाहरणों का उपयोग कैसे करते हैं, पूर्ण-सॉफ्टमैक्स लागत को कम करते हैं, और उनके संभाव्य लक्ष्यों में भिन्न होते हैं।

संबंधित मार्गदर्शक पथनकारात्मक नमूनाकरण और शोर विरोधाभासी अनुमान
प्रश्न 1 का 8

नकारात्मक नमूनाकरण और एनसीई मुख्य रूप से किस समस्या का समाधान करते हैं?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. नकारात्मक नमूनाकरण और एनसीई मुख्य रूप से किस समस्या का समाधान करते हैं?
    • बहुत बड़े आउटपुट स्थान पर पूर्ण सॉफ्टमैक्स की गणना करने की उच्च लागत
    • छोटे डेटासेट पर ओवरफ़िटिंग
    • आवर्ती नेटवर्क में लुप्त हो रहे ग्रेडिएंट
    • पर्यवेक्षित शिक्षण के लिए लेबल किए गए डेटा की कमी
  2. शोर विरोधाभासी अनुमान सीखने के कार्य को कैसे नया रूप देता है?
    • निरंतर लक्ष्यों पर प्रतिगमन के रूप में
    • सच्चे डेटा नमूनों और शोर नमूनों के बीच द्विआधारी वर्गीकरण के रूप में
    • बिना लेबल वाले बिंदुओं की क्लस्टरिंग के रूप में
    • पुरस्कार के साथ सुदृढीकरण सीखने के रूप में
  3. किस मॉडल ने शब्द एम्बेडिंग सीखने के लिए नकारात्मक नमूने को लोकप्रिय बनाया?
    • बर्ट
    • रेसनेट
    • Word2vec का स्किप-ग्राम मॉडल
    • जीपीटी-2
  4. नकारात्मक नमूनाकरण पूर्ण एनसीई से किस प्रकार भिन्न है?
    • यह सटीकता के लिए अतिरिक्त सामान्यीकरण शब्द जोड़ता है
    • इसमें प्रत्येक चरण पर संपूर्ण शब्दावली की आवश्यकता होती है
    • यह सिग्मॉइड के बजाय प्रतिगमन हानि का उपयोग करता है
    • यह एनसीई की सामान्यीकरण शर्तों को गिरा देता है, जिससे यह तेज़ हो जाता है लेकिन सुसंगत घनत्व अनुमानक नहीं बनता है
  5. यूनीग्राम वितरण से नकारात्मक नमूने अक्सर 3/4 पावर तक क्यों बढ़ाए जाते हैं?
    • केवल आवृत्ति के आधार पर नमूना लेने के बजाय लगातार और दुर्लभ शब्दों के प्रभाव को संतुलित करना
    • दुर्लभ शब्दों को पूरी तरह से नजरअंदाज करना
    • सभी शब्दों को समान संभावना वाला बनाना
    • प्रशिक्षण से स्टॉप शब्द हटाने के लिए
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead