Cuestionario vinculado a una guía · Medio Nivel

Prueba de optimización de políticas próximas

Revise los recortes de PPO, los ratios de pólizas, las fuentes de recompensas, las sanciones de KL, las críticas, las ventajas y los límites de RLHF del modelo de lenguaje. Verificar supuestos y alcance.

Rutas de guía relacionadasOptimización de políticas próximas
Pregunta 1 de 8

¿Qué problema aborda principalmente el 'recorte' de PPO?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué problema aborda principalmente el 'recorte' de PPO?
    • Actualizaciones de políticas demasiado grandes que desestabilizan la capacitación
    • Carga de datos lenta
    • Límites de tamaño de vocabulario
    • Uso de la memoria durante la inferencia
  2. En el modelo de lenguaje RLHF con PPO, ¿de dónde suele venir la señal de recompensa?
    • Puntuación humana directa de cada token
    • Un modelo de recompensa entrenado
    • La tasa de aprendizaje del optimizador.
    • El tamaño del vocabulario.
  3. ¿Qué efecto tiene la penalización por divergencia de KL en el RLHF basado en PPO?
    • Acelera la generación de tokens
    • Aumenta la precisión del modelo de recompensa.
    • Evita que el modelo ajustado se aleje demasiado del modelo de referencia
    • Elimina la necesidad de una red de valor
  4. ¿Cuál es el papel de la red de valor (crítica) en PPO?
    • Para generar la salida de texto final
    • Para almacenar los datos de entrenamiento
    • Reemplazar completamente el modelo de recompensa
    • Estimar el rendimiento esperado para poder calcular las ventajas.
  5. ¿Qué representa la 'ventaja' en PPO?
    • ¿Cuánto mejor fue una acción que la línea de base esperada?
    • El recuento total de parámetros del modelo.
    • El rango de recorte
    • El coeficiente de penalización de KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized