Prueba de penalización por repetición y controles de decodificación

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué efecto tiene el aumento del parámetro 'temperatura' en la salida de un modelo?
   • Lo hace más aleatorio y diverso.
   • Lo hace más determinista y centrado.
   • Cambia permanentemente los pesos del modelo.
   • Acelera la generación
2. ¿Cómo decide el muestreo top-p (núcleo) qué tokens considerar?
   • Mantiene una cantidad fija de tokens independientemente de la probabilidad.
   • Mantiene el conjunto más pequeño de tokens cuyas probabilidades suman un umbral.
   • Sólo conserva el token más probable.
   • Mantiene tokens con probabilidad superior al 50%.
3. ¿En qué etapa suele actuar una sanción por repetición?
   • Sobre el texto sin formato tras generación
   • Sobre los datos de entrenamiento
   • En los logits antes del softmax
   • Sobre el vocabulario del tokenizador
4. En la API de generación de texto de OpenAI, ¿en qué se diferencian las penalizaciones por presencia y frecuencia?
   • Escalas de penalización por presencia con recuento de fichas; la penalización de frecuencia es plana
   • son identicos
   • Ambos solo se aplican al primer token.
   • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
5. Para completar el código donde se desea un muestreo determinista, ¿qué configuración se adapta mejor a la guía?
   • Temperatura cercana a cero
   • temperatura muy alta
   • Penalización por repetición alta superior a 2,0
   • Top-p de 1.0 con temperatura alta
6. ¿Qué hace el muestreo top-k?
   • Mantiene la suma de tokens con probabilidad k
   • Mantiene solo los k tokens más probables como candidatos
   • Multiplica todos los logits por k
   • Elimina las k fichas menos probables del entrenamiento.
7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
   • It sets every repeated-token logit to zero
   • It adds the penalty to every token equally
   • It divides a positive logit by the penalty and multiplies a negative logit by it
   • It removes the token from the vocabulary permanently
8. How does top-k differ from top-p sampling?
   • Top-k uses cumulative probability while top-p fixes a count
   • Top-k changes model weights while top-p changes the tokenizer
   • They are both deterministic decoding methods
   • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set