اختبار أخذ العينات السلبية والتقدير المقارن للضوضاء

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي المشكلة التي يحلها أخذ العينات السلبية و NCE في المقام الأول؟
   • التكلفة العالية لحساب softmax الكامل على مساحة إخراج كبيرة جدًا
   • الإفراط في التجهيز على مجموعات البيانات الصغيرة
   • اختفاء التدرجات في الشبكات المتكررة
   • عدم وجود بيانات مصنفة للتعلم الخاضع للإشراف
2. كيف يعيد التقدير التفاضلي للضوضاء صياغة مهمة التعلم؟
   • كما الانحدار على الأهداف المستمرة
   • كتصنيف ثنائي بين عينات البيانات الحقيقية وعينات الضوضاء
   • مثل تجميع النقاط غير المسماة
   • كما تعزيز التعلم مع المكافآت
3. ما هو النموذج الذي شاع أخذ العينات السلبية لتعلم تضمين الكلمات؟
   • بيرت
   • ريسنيت
   • نموذج تخطي جرام Word2vec
   • جي بي تي-2
4. كيف تختلف العينات السلبية عن NCE الكامل؟
   • يضيف شروط تطبيع إضافية للتأكد من دقتها
   • فهو يتطلب المفردات بأكملها في كل خطوة
   • يستخدم خسارة الانحدار بدلاً من السيني
   • إنه يسقط شروط التطبيع الخاصة بـ NCE، مما يجعله أسرع ولكن ليس مقدرًا ثابتًا للكثافة
5. لماذا غالبًا ما يتم أخذ عينات من السلبيات من توزيع unigram مرفوعة إلى القوة 3/4؟
   • تحقيق التوازن بين تأثير الكلمات المتكررة والنادرة بدلاً من أخذ العينات بالتكرار البحت
   • لتجاهل الكلمات النادرة تماما
   • لجعل كل الكلمات محتملة على قدم المساواة
   • لإزالة كلمات التوقف من التدريب
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead