Quiz dotyczący próbkowania negatywnego i szacowania kontrastu szumu

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki problem rozwiązują przede wszystkim ujemne próbkowanie i NCE?
   • Wysoki koszt obliczenia pełnego softmaxu na bardzo dużej przestrzeni wyjściowej
   • Nadmierne dopasowanie w małych zbiorach danych
   • Zanikające gradienty w sieciach rekurencyjnych
   • Brak oznakowanych danych dla uczenia się pod nadzorem
2. W jaki sposób oszacowanie kontrastowe szumu zmienia ramy zadania edukacyjnego?
   • Jako regresja na celach ciągłych
   • Jako klasyfikacja binarna pomiędzy prawdziwymi próbkami danych i próbkami szumu
   • Jako skupienie nieoznakowanych punktów
   • Jako nauka wzmacniająca z nagrodami
3. Który model spopularyzował próbkowanie negatywne w celu uczenia się osadzania słów?
   • BERT
   • ResNet
   • Model pomijania gramów w word2vec
   • GPT-2
4. Czym różni się pobieranie ujemne od pełnego NCE?
   • Dodaje dodatkowe warunki normalizacyjne dla dokładności
   • Wymaga to całego słownictwa na każdym kroku
   • Wykorzystuje stratę regresyjną zamiast esicy
   • Porzuca terminy normalizacyjne NCE, czyniąc go szybszym, ale nie spójnym estymatorem gęstości
5. Dlaczego negatywy są często próbkowane na podstawie rozkładu unigramów podniesionego do potęgi 3/4?
   • Aby zrównoważyć wpływ częstych i rzadkich słów, zamiast próbkowania wyłącznie według częstotliwości
   • Aby całkowicie zignorować rzadkie słowa
   • Aby wszystkie słowa były jednakowo prawdopodobne
   • Aby usunąć słowa stop z treningu
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead