Quiz sur l'échantillonnage négatif et l'estimation contrastive du bruit

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel problème l’échantillonnage négatif et le NCE résolvent-ils principalement ?
   • Le coût élevé du calcul d'un softmax complet sur un très grand espace de sortie
   • Surapprentissage sur de petits ensembles de données
   • Disparition des gradients dans les réseaux récurrents
   • Le manque de données étiquetées pour l’apprentissage supervisé
2. Comment l’estimation contrastive du bruit recadre-t-elle la tâche d’apprentissage ?
   • Comme régression sur des cibles continues
   • En tant que classification binaire entre de vrais échantillons de données et des échantillons de bruit
   • En tant que regroupement de points non étiquetés
   • Comme apprentissage par renforcement avec récompenses
3. Quel modèle a popularisé l'échantillonnage négatif pour l'apprentissage des incorporations de mots ?
   • BERTE
   • ResNet
   • modèle skip-gram de word2vec
   • GPT-2
4. En quoi l’échantillonnage négatif diffère-t-il du NCE complet ?
   • Il ajoute des termes de normalisation supplémentaires pour plus de précision
   • Cela nécessite tout le vocabulaire à chaque étape
   • Il utilise une perte de régression au lieu d'une sigmoïde
   • Il supprime les termes de normalisation de NCE, ce qui le rend plus rapide mais pas un estimateur de densité cohérent.
5. Pourquoi les négatifs sont-ils souvent échantillonnés à partir de la distribution unigramme élevée à la puissance 3/4 ?
   • Pour équilibrer l'influence des mots fréquents et rares plutôt que d'échantillonner uniquement par fréquence
   • Ignorer complètement les mots rares
   • Pour rendre tous les mots également probables
   • Pour supprimer les mots vides de la formation
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead