Prueba de muestreo de Nucleus y Top-k

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cómo restringe el muestreo top-k las opciones de tokens?
   • Mantiene solo los k tokens de mayor probabilidad y luego realiza muestras entre ellos.
   • Mantiene los tokens hasta que la probabilidad acumulada excede k
   • Siempre selecciona el token más probable.
   • Elimina solo los k tokens menos probables.
2. ¿Qué define el 'núcleo' en el muestreo de núcleo (top-p)?
   • Las k palabras más frecuentes en los datos de entrenamiento.
   • El conjunto más pequeño de tokens cuyas probabilidades suman al menos p
   • El token de mayor probabilidad
   • Todos los tokens con probabilidad superior al 50%
3. ¿Cuál es la ventaja clave de top-p sobre top-k?
   • Siempre es más rápido calcular
   • Nunca produce una salida aleatoria.
   • El número de tokens candidatos se adapta a la confianza del modelo.
   • Ignora las probabilidades simbólicas.
4. ¿Qué hace el parámetro de temperatura antes del muestreo?
   • Establece la longitud máxima de la secuencia.
   • Selecciona el idioma de salida.
   • Cuenta el tamaño del vocabulario.
   • Cambia la escala de la distribución de probabilidad para que sea más nítida o más plana.
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Elimina la necesidad de un modelo de lenguaje.
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores