Quiz collegato alla guida · Difficile Livello

Quiz sul campionamento negativo e sulla stima contrastiva del rumore

Controlla il modo in cui NCE e il campionamento negativo utilizzano esempi di rumore, riducono il costo full-softmax e differiscono nei loro obiettivi probabilistici.

Domanda 1 di 8

Quale problema risolvono principalmente il campionamento negativo e l’NCE?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale problema risolvono principalmente il campionamento negativo e l’NCE?
    • Il costo elevato per calcolare un softmax completo su uno spazio di output molto ampio
    • Overfitting su set di dati di piccole dimensioni
    • Gradienti evanescenti in reti ricorrenti
    • La mancanza di dati etichettati per l’apprendimento supervisionato
  2. In che modo la stima contrastiva del rumore riformula il compito di apprendimento?
    • Come regressione su obiettivi continui
    • Come classificazione binaria tra campioni di dati reali e campioni di rumore
    • Come raggruppamento di punti senza etichetta
    • Come apprendimento per rinforzo con ricompense
  3. Quale modello ha reso popolare il campionamento negativo per l’apprendimento degli incorporamenti di parole?
    • BERT
    • ResNet
    • Il modello skip-gram di word2vec
    • GPT-2
  4. In che modo il campionamento negativo differisce dall'NCE completo?
    • Aggiunge termini di normalizzazione aggiuntivi per la precisione
    • Richiede l'intero vocabolario ad ogni passo
    • Utilizza una perdita di regressione invece di un sigma
    • Riduce i termini di normalizzazione di NCE, rendendolo uno stimatore di densità più veloce ma non coerente
  5. Perché i negativi vengono spesso campionati dalla distribuzione degli unigrammi elevati a 3/4?
    • Per bilanciare l'influenza delle parole frequenti e rare piuttosto che campionare esclusivamente in base alla frequenza
    • Ignorare completamente le parole rare
    • Per rendere tutte le parole ugualmente probabili
    • Per rimuovere le parole d'arresto dalla formazione
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead