Persampelan Negatif dan Kuiz Anggaran Kontrastif Bunyi

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah masalah yang paling utama diselesaikan oleh pensampelan negatif dan NCE?
   • Kos tinggi untuk mengira softmax penuh ke atas ruang keluaran yang sangat besar
   • Terlebih pemasangan pada set data kecil
   • Kecerunan yang hilang dalam rangkaian berulang
   • Kekurangan data berlabel untuk pembelajaran diselia
2. Bagaimanakah Anggaran Kontrastif Kebisingan merangka semula tugas pembelajaran?
   • Sebagai regresi pada sasaran berterusan
   • Sebagai klasifikasi binari antara sampel data benar dan sampel hingar
   • Sebagai pengelompokan titik tidak berlabel
   • Sebagai pengukuhan pembelajaran dengan ganjaran
3. Model manakah yang mempopularkan persampelan negatif untuk pembelajaran pembenaman perkataan?
   • BERT
   • ResNet
   • model langkau-gram word2vec
   • GPT-2
4. Bagaimanakah persampelan negatif berbeza daripada NCE penuh?
   • Ia menambah istilah normalisasi tambahan untuk ketepatan
   • Ia memerlukan keseluruhan perbendaharaan kata pada setiap langkah
   • Ia menggunakan kehilangan regresi dan bukannya sigmoid
   • Ia menjatuhkan syarat normalisasi NCE, menjadikannya lebih pantas tetapi bukan penganggar ketumpatan yang konsisten
5. Mengapakah negatif sering dijadikan sampel daripada taburan unigram dinaikkan kepada kuasa 3/4?
   • Untuk mengimbangi pengaruh perkataan yang kerap dan jarang berlaku daripada persampelan semata-mata mengikut kekerapan
   • Untuk mengabaikan perkataan yang jarang berlaku sepenuhnya
   • Untuk menjadikan semua perkataan mempunyai kemungkinan yang sama
   • Untuk mengeluarkan perkataan berhenti daripada latihan
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead