Pengambilan Sampel Negatif dan Kuis Estimasi Kontras Kebisingan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Masalah apa yang terutama dipecahkan oleh pengambilan sampel negatif dan NCE?
   • Tingginya biaya komputasi softmax penuh pada ruang keluaran yang sangat besar
   • Overfitting pada kumpulan data kecil
   • Hilangnya gradien dalam jaringan berulang
   • Kurangnya data berlabel untuk pembelajaran yang diawasi
2. Bagaimana Estimasi Kontrastif Kebisingan mengubah tugas pembelajaran?
   • Sebagai regresi pada target yang berkesinambungan
   • Sebagai klasifikasi biner antara sampel data sebenarnya dan sampel kebisingan
   • Sebagai pengelompokan titik-titik yang tidak berlabel
   • Sebagai pembelajaran penguatan dengan imbalan
3. Model manakah yang mempopulerkan pengambilan sampel negatif untuk mempelajari penyematan kata?
   • BERT
   • ResNet
   • model skip-gram Word2vec
   • GPT-2
4. Apa perbedaan pengambilan sampel negatif dengan NCE penuh?
   • Ini menambahkan istilah normalisasi tambahan untuk akurasi
   • Itu membutuhkan seluruh kosakata di setiap langkah
   • Ia menggunakan kerugian regresi, bukan sigmoid
   • Ini menghilangkan persyaratan normalisasi NCE, membuatnya lebih cepat tetapi bukan penduga kepadatan yang konsisten
5. Mengapa sampel negatif dari distribusi unigram sering dipangkatkan 3/4?
   • Untuk menyeimbangkan pengaruh kata-kata yang sering dan jarang daripada mengambil sampel hanya berdasarkan frekuensi
   • Mengabaikan kata-kata langka sepenuhnya
   • Untuk membuat semua kata memiliki kemungkinan yang sama
   • Untuk menghapus kata-kata berhenti dari pelatihan
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead