Prueba de muestreo negativo y estimación contrastiva del ruido

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué problema resuelven principalmente el muestreo negativo y la NCE?
   • El alto costo de calcular un softmax completo en un espacio de salida muy grande
   • Sobreajuste en conjuntos de datos pequeños
   • gradientes de fuga en redes recurrentes
   • La falta de datos etiquetados para el aprendizaje supervisado
2. ¿Cómo replantea la estimación contrastiva de ruido la tarea de aprendizaje?
   • Como regresión sobre objetivos continuos.
   • Como clasificación binaria entre muestras de datos verdaderos y muestras de ruido.
   • Como agrupación de puntos sin etiquetar
   • Como aprendizaje por refuerzo con recompensas.
3. ¿Qué modelo popularizó el muestreo negativo para aprender incrustaciones de palabras?
   • BERT
   • Resnet
   • modelo de salto de gramo de word2vec
   • GPT-2
4. ¿En qué se diferencia el muestreo negativo del NCE completo?
   • Agrega términos de normalización adicionales para mayor precisión.
   • Requiere todo el vocabulario en cada paso.
   • Utiliza una pérdida de regresión en lugar de un sigmoide.
   • Elimina los términos de normalización de NCE, lo que lo hace más rápido pero no un estimador de densidad consistente.
5. ¿Por qué a menudo se toman muestras de los negativos a partir de la distribución de unigramos elevada a la potencia 3/4?
   • Equilibrar la influencia de palabras frecuentes y raras en lugar de realizar un muestreo puramente por frecuencia.
   • Ignorar por completo las palabras raras
   • Para hacer que todas las palabras tengan la misma probabilidad
   • Para eliminar palabras vacías del entrenamiento
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead