Вікторина, пов’язана з посібником · важко Рівень

Вікторина щодо оптимізації відносної політики групи

Застосуйте нормалізацію групової винагороди GRPO, видалення критики та регулярне регулювання політики посилань, включаючи значення відносних переваг в одному запиті.

Пов'язані напрямні шляхиОптимізація групової відносної політики
Питання 1 з 8

Which separately learned estimator does the original GRPO approach avoid training?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Як GRPO обчислює перевагу для даного завершення?
    • Запитуючи голову вивченого значення для кожного маркера
    • Використовуючи необроблену винагороду без нормалізації
    • Порівнюючи це з завершеннями з іншого підказки
    • Шляхом стандартизації винагороди щодо середнього значення та стандартного відхилення його групи однорідних завершень
  3. Які моделі зробили GRPO відомим?
    • Моделі міркування DeepSeek DeepSeekMath і DeepSeek-R1
    • Серія GPT-2 OpenAI
    • Оригінальний BERT Google
    • Базові моделі Llama 2 Meta
  4. Яку роль відіграє термін KL-дивергенції в GRPO?
    • Він генерує групу завершень
    • Він замінює модель винагороди
    • Це утримує навчену політику від занадто далекого відхилення від замороженої еталонної моделі
    • Він обчислює оцінку вартості кожного токена
  5. Чому GRPO особливо привабливий для навчання моделям міркування на математиці чи програмуванні?
    • Для цього взагалі не потрібен сигнал винагороди
    • Він працює лише з мітками уподобань людини
    • Він не може використовувати вибіркові завершення
    • Це природно працює з винагородами, які можна перевірити на основі правил (наприклад, чи збігалася відповідь або чи успішно пройшли тести), оцінюваними за групою вибіркових рішень
  6. Яке відоме упередження намагається виправити подальша робота (наприклад, Dr. GRPO) у Vanilla GRPO?
    • Тенденція повністю ігнорувати винагороду
    • Упередження щодо довжини та складності, викликані тим, як нормалізуються винагороди
    • Неможливість вибірки більш ніж одного завершення
    • Вимога для величезної мережі критиків
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks