Викторина, связанная с руководством · Средний Уровень

Викторина по оптимизации проксимальной политики

Просмотрите обрезку PPO, политические коэффициенты, источники вознаграждения, штрафы за KL, критику, преимущества и ограничения RLHF языковой модели. Проверьте предположения и объем.

Связанные направляющие путиОптимизация проксимальной политики
Вопрос 1 из 8

Какую проблему в первую очередь решает «обрезка» PPO?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какую проблему в первую очередь решает «обрезка» PPO?
    • Слишком большие обновления политики, которые дестабилизируют обучение
    • Медленная загрузка данных
    • Ограничения на размер словаря
    • Использование памяти во время вывода
  2. Откуда обычно поступает сигнал вознаграждения в языковой модели RLHF с PPO?
    • Прямая человеческая оценка каждого токена
    • Обученная модель вознаграждения
    • Скорость обучения оптимизатора
    • Размер словарного запаса
  3. Что делает штраф за KL-дивергенцию в RLHF на основе PPO?
    • Ускоряет генерацию токенов
    • Повышает точность модели вознаграждения.
    • Не дает точно настроенной модели отклоняться слишком далеко от эталонной модели.
    • Устраняет необходимость в сети создания ценности
  4. Какова роль сети ценностей (критиков) в PPO?
    • Чтобы сгенерировать окончательный текстовый вывод
    • Для хранения данных обучения
    • Полностью заменить модель вознаграждения
    • Оценить ожидаемую прибыль, чтобы можно было вычислить преимущества.
  5. Что представляет собой «преимущество» в PPO?
    • Насколько действие было лучше ожидаемого базового уровня
    • Общее количество параметров модели
    • Диапазон отсечения
    • Штрафной коэффициент КЛ
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized