Викторина, связанная с руководством · Жесткий Уровень

Викторина по оптимизации групповой относительной политики

Примените нормализацию группового вознаграждения GRPO, удаление критиков и регуляризацию ссылочной политики, включая определение относительных преимуществ в одном запросе.

Связанные направляющие путиОптимизация групповой относительной политики
Вопрос 1 из 8

Which separately learned estimator does the original GRPO approach avoid training?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Как GRPO рассчитывает преимущество для данного завершения?
    • Запрашивая заголовок изученного значения для каждого токена
    • Используя необработанное вознаграждение без нормализации
    • Сравнивая его с завершениями из другого приглашения
    • Стандартизируя свою награду по отношению к среднему значению и стандартному отклонению группы одноуровневых завершений.
  3. Какие модели прославили GRPO?
    • Модели рассуждения DeepSeekMath и DeepSeek-R1 от DeepSeek
    • Серия GPT-2 OpenAI
    • Оригинальный BERT Google
    • Базовые модели Llama 2 от Meta
  4. Какую роль играет термин KL-дивергенция в GRPO?
    • Генерирует группу пополнений
    • Он заменяет модель вознаграждения
    • Это предотвращает отклонение обученной политики слишком далеко от замороженной эталонной модели.
    • Он вычисляет оценку стоимости токена
  5. Почему GRPO особенно привлекателен для обучения моделям рассуждения по математике или программированию?
    • Он вообще не требует сигнала вознаграждения
    • Он работает только с ярлыками человеческих предпочтений.
    • Он не может использовать выборочные завершения
    • Он работает естественным образом с проверяемыми, основанными на правилах вознаграждениями (например, совпал ли ответ или прошли ли тесты), оцениваемыми по группе выборочных решений.
  6. Какую известную предвзятость пытаются исправить в ванильном GRPO последующие работы (например, Dr. GRPO)?
    • Тенденция полностью игнорировать вознаграждение
    • Предвзятость в продолжительности и сложности, возникающая из-за того, как нормализуются награды
    • Невозможность выполнить выборку более чем одного завершения.
    • Требование к огромной сети критиков
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks