Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Negatív mintavételezés és zaj kontrasztív becslési kvíz

Checks how NCE and negative sampling use noise examples, reduce full-softmax cost, and differ in their probabilistic goals.

kérdés 1 -ból 8

Milyen problémát old meg elsősorban a negatív mintavétel és az NCE?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen problémát old meg elsősorban a negatív mintavétel és az NCE?
    • A teljes softmax kiszámításának magas költsége nagyon nagy kimeneti területen
    • Túlillesztés kis adatkészleteken
    • Eltűnő gradiensek visszatérő hálózatokban
    • A felügyelt tanuláshoz címkézett adatok hiánya
  2. Hogyan fogalmazza meg a Zajkontrasztív Becslés a tanulási feladatot?
    • A folyamatos célok regressziójaként
    • Bináris osztályozásként a valódi adatminták és a zajminták között
    • A címkézetlen pontok csoportosításaként
    • Megerősítő tanulásként jutalmakkal
  3. Melyik modell népszerűsítette a negatív mintavételt a szóbeágyazás tanulására?
    • BERT
    • ResNet
    • word2vec skip-gram modellje
    • GPT-2
  4. Miben különbözik a negatív mintavétel a teljes NCE-től?
    • A pontosság érdekében további normalizálási feltételeket ad hozzá
    • Minden lépésnél a teljes szókincsre van szükség
    • A szigmoid helyett regressziós veszteséget használ
    • Eldobja az NCE normalizálási feltételeit, ami gyorsabbá teszi, de nem konzisztens sűrűségbecslővé
  5. Miért veszik gyakran a negatívokat az unigram eloszlásból a 3/4 hatványra emelve?
    • A gyakori és ritka szavak hatásának kiegyensúlyozása a pusztán gyakoriság szerinti mintavétel helyett
    • Teljesen figyelmen kívül hagyni a ritka szavakat
    • Hogy minden szó egyformán valószínű legyen
    • A stop szavak eltávolítása az edzésből
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead