Cuestionario vinculado a una guía · duro Nivel

Ajuste de refuerzo con prueba de calificadores

Prueba cómo los calificadores califican los resultados del modelo, qué tareas se adaptan al ajuste del refuerzo y cómo surgen la piratería de recompensas y las señales de entrenamiento débiles.

Rutas de guía relacionadasAjuste fino de refuerzo con niveladores
Pregunta 1 de 8

¿En qué se diferencia el ajuste fino por refuerzo del ajuste fino supervisado?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿En qué se diferencia el ajuste fino por refuerzo del ajuste fino supervisado?
    • It trains the model to imitate exact target outputs
    • It rewards sampled outputs a grader scores highly instead of copying examples
    • It needs no training prompts
    • It only changes the system prompt
  2. ¿Qué tipo de evaluador utilizaría para comprobar que el código generado realmente funciona?
    • A programmatic grader that runs unit tests
    • A string-match grader comparing to one reference function
    • A grader that counts words
    • No grader is needed for code
  3. ¿Qué tarea es la que menos se ajusta al RFT según la guía?
    • Classifying items into defined category codes
    • Solving maths problems with known answers
    • Judging subjective quality where expert graders disagree
    • Structured data extraction with a reference answer
  4. En el ajuste fino por refuerzo con evaluadores: ¿qué es el pirateo de recompensas?
    • Stealing another team's grader
    • The model learning to satisfy the grader rather than the real intent
    • Using too little compute during training
    • A grader giving partial credit
  5. ¿Por qué los mensajes en los que cada muestra obtiene la misma puntuación proporcionan poca señal de aprendizaje en métodos relativos a grupos como GRPO?
    • Because the grader crashes on them
    • Because learning comes from score differences within the group
    • Because they are too long
    • Because GRPO ignores scores entirely
  6. What is the purpose of a KL penalty against the original model during RFT?
    • To speed up grading
    • To limit how far the model drifts from its starting behaviour
    • To increase output length
    • To replace the grader
  7. A model grader over-rewards confident, lengthy replies. What is the likely outcome of training against it?
    • Outputs drift toward longer, more confident wording
    • El modelo deja de producir resultados.
    • Accuracy is guaranteed to improve
    • The grader becomes stricter automatically
  8. Which is the best way to check that rising training reward reflects real improvement?
    • Trust the training reward curve
    • Increase the learning rate
    • Spot-check outputs by hand or with an independent grader on held-out data
    • Remove the validation set