Prueba de ajuste del muestreo de rechazo

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué bucle describe mejor cómo el ajuste fino del muestreo de rechazo mejora un modelo?
   • Genere muchas respuestas de candidatos, conserve las que obtengan la mejor puntuación y vuelva a capacitarse en ellas.
   • Eliminar las capas del modelo con peor rendimiento
   • Rechaza todos los datos de entrenamiento y comienza de nuevo.
   • Pruebe una vez y acepte siempre el resultado.
2. En dominios verificables como las matemáticas o el código, ¿qué puede servir como recompensa?
   • Solo un modelo de recompensa aprendido
   • Si la respuesta es correcta o si se pasan las pruebas.
   • La duración de la respuesta.
   • El número de tokens generados.
3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
   • GPT-4o
   • BERT Base
   • Meta’s Llama 2-Chat
   • Whisper Large
4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
   • It never needs a candidate generator or scoring rule
   • It guarantees no reward hacking
   • It always requires less compute than every RL method
   • It can use supervised learning on selected generations instead of updating through policy-gradient RL
5. ¿Qué hace efectivamente la capacitación en las muestras de máxima recompensa?
   • Destila la mejor calidad de N en las salidas de muestra única del modelo.
   • Aumenta el tamaño del vocabulario.
   • Elimina la capacidad del modelo para generar texto.
   • Duplica el recuento de parámetros
6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
   • Only the number of model parameters
   • Output diversity alongside held-out correctness
   • Whether every answer uses the same wording
   • Only the training loss on selected samples
7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
   • It can only be used with image labels
   • It always changes the tokenizer
   • It cannot train on a high-quality answer that was never generated or retained
   • It makes the scoring function unnecessary
8. What risk arises if the scoring model used to filter candidates is flawed?
   • The policy becomes unable to generate any text
   • The tokenizer automatically changes vocabulary
   • The reference labels become unnecessary
   • The policy may learn to exploit the scorer rather than improve the intended quality