Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Negatív mintavételezés és zaj kontrasztív becslési kvíz
Checks how NCE and negative sampling use noise examples, reduce full-softmax cost, and differ in their probabilistic goals.
kérdés 1 -ból 8
Milyen problémát old meg elsősorban a negatív mintavétel és az NCE?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen problémát old meg elsősorban a negatív mintavétel és az NCE?
- A teljes softmax kiszámításának magas költsége nagyon nagy kimeneti területen
- Túlillesztés kis adatkészleteken
- Eltűnő gradiensek visszatérő hálózatokban
- A felügyelt tanuláshoz címkézett adatok hiánya
- Hogyan fogalmazza meg a Zajkontrasztív Becslés a tanulási feladatot?
- A folyamatos célok regressziójaként
- Bináris osztályozásként a valódi adatminták és a zajminták között
- A címkézetlen pontok csoportosításaként
- Megerősítő tanulásként jutalmakkal
- Melyik modell népszerűsítette a negatív mintavételt a szóbeágyazás tanulására?
- BERT
- ResNet
- word2vec skip-gram modellje
- GPT-2
- Miben különbözik a negatív mintavétel a teljes NCE-től?
- A pontosság érdekében további normalizálási feltételeket ad hozzá
- Minden lépésnél a teljes szókincsre van szükség
- A szigmoid helyett regressziós veszteséget használ
- Eldobja az NCE normalizálási feltételeit, ami gyorsabbá teszi, de nem konzisztens sűrűségbecslővé
- Miért veszik gyakran a negatívokat az unigram eloszlásból a 3/4 hatványra emelve?
- A gyakori és ritka szavak hatásának kiegyensúlyozása a pusztán gyakoriság szerinti mintavétel helyett
- Teljesen figyelmen kívül hagyni a ritka szavakat
- Hogy minden szó egyformán valószínű legyen
- A stop szavak eltávolítása az edzésből
- For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
- It computes an exact probability for every vocabulary item
- The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
- It eliminates the need to score the positive pair
- It sorts all words by frequency on each step
- In skip-gram negative sampling, what is treated as the positive training pair?
- Two words sampled independently from the noise distribution
- A word paired with an empty context
- A word and a context word observed together in the corpus
- A validation label paired with a model checkpoint
- Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
- It always sums over the full vocabulary
- It requires exact maximum-likelihood normalization
- It never uses negative examples
- Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead