Викторина, связанная с руководством · Жесткий Уровень

Нормализация группового вознаграждения в викторине RLHF

Узнайте, как GRPO сравнивает выборочные ответы в группе запросов, удаляет критику и использует цель в стиле PPO для обновлений политики.

Связанные направляющие путиНормализация группового вознаграждения в Rlhf
Вопрос 1 из 8

При нормализации группового вознаграждения с чем сравнивается вознаграждение за каждый ответ?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. При нормализации группового вознаграждения с чем сравнивается вознаграждение за каждый ответ?
    • Среднее и стандартное отклонение собственной группы подсказок
    • Фиксированная глобальная константа
    • Награда из предыдущей эпохи
    • Количество параметров модели
  2. Какой алгоритм больше всего связан с нормализацией группового вознаграждения?
    • Стохастический градиентный спуск
    • GRPO (оптимизация групповой относительной политики)
    • K-средства кластеризации
    • Обратное распространение ошибки
  3. Какой компонент стандартного PPO существенно исключается из GRPO?
    • Модель вознаграждения
    • Нейронная сеть целиком
    • Отдельная сеть создания стоимости (критик)
    • Данные обучения
  4. Что происходит с ответом, награда которого ниже среднего значения для его группы?
    • Он получает положительное преимущество и усиливается.
    • Он удален из набора данных
    • Его награда удваивается
    • Он получает отрицательное преимущество и его обескураживают.
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy