Negatif Örnekleme ve Gürültü Karşılaştırmalı Tahmin Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Negatif örnekleme ve NCE öncelikle hangi sorunu çözer?
   • Çok geniş bir çıktı alanı üzerinden tam softmax hesaplamanın yüksek maliyeti
   • Küçük veri kümelerine aşırı uyum
   • Tekrarlanan ağlarda kaybolan degradeler
   • Denetimli öğrenme için etiketlenmiş verilerin eksikliği
2. Gürültü Karşılaştırmalı Tahmini öğrenme görevini nasıl yeniden çerçeveliyor?
   • Sürekli hedeflerde regresyon olarak
   • Gerçek veri örnekleri ve gürültü örnekleri arasında ikili sınıflandırma olarak
   • Etiketlenmemiş noktaların kümelenmesi olarak
   • Ödüllerle takviyeli öğrenme olarak
3. Kelime yerleştirmeleri öğrenmek için negatif örneklemeyi hangi model yaygınlaştırdı?
   • BERT
   • ResNet
   • word2vec'in gram atlama modeli
   • GPT-2
4. Negatif örneklemenin tam NCE'den farkı nedir?
   • Doğruluk için ekstra normalleştirme terimleri ekler
   • Her adımda tüm kelime dağarcığını gerektirir
   • Sigmoid yerine regresyon kaybı kullanır
   • NCE'nin normalleştirme terimlerini düşürerek onu daha hızlı hale getirir ancak tutarlı bir yoğunluk tahmincisi değildir
5. Negatifler neden sıklıkla 3/4'e yükseltilmiş unigram dağılımından örnekleniyor?
   • Yalnızca sıklığa göre örnekleme yapmak yerine sık ve nadir sözcüklerin etkisini dengelemek
   • Nadir kelimeleri tamamen görmezden gelmek
   • Tüm kelimelerin eşit olasılığa sahip olmasını sağlamak
   • Durdurma sözcüklerini eğitimden kaldırmak için
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead