Тест за отрицателна семплиране и контрастна оценка на шума

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какъв проблем основно решават отрицателните проби и NCE?
   • Високата цена за изчисляване на пълен softmax върху много голямо изходно пространство
   • Пренастройване на малки набори от данни
   • Изчезващи градиенти в повтарящи се мрежи
   • Липсата на етикетирани данни за контролирано обучение
2. Как Noise Contrastive Estimation преформулира учебната задача?
   • Като регресия върху непрекъснати цели
   • Като двоична класификация между проби от истински данни и проби от шум
   • Като групиране на немаркирани точки
   • Като подсилващо обучение с награди
3. Кой модел популяризира отрицателно вземане на проби за изучаване на вграждане на думи?
   • БЕРТ
   • ResNet
   • моделът на skip-gram на word2vec
   • GPT-2
4. Как се различава отрицателната проба от пълния NCE?
   • Той добавя допълнителни термини за нормализиране за точност
   • Изисква целия речников запас на всяка стъпка
   • Той използва загуба на регресия вместо сигмоида
   • Той премахва условията за нормализиране на NCE, което го прави по-бърз, но не и последователен оценител на плътност
5. Защо негативите често се вземат проби от униграмното разпределение, повдигнато на степен 3/4?
   • Да се балансира влиянието на често срещаните и редки думи, вместо да се взимат проби само по честота
   • Да игнорирате изцяло редките думи
   • За да направите всички думи еднакво вероятни
   • За да премахнете спиращите думи от обучението
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead