Вікторина, пов’язана з посібником · важко Рівень

Нормалізація згрупованої винагороди у вікторині RLHF

Дізнайтеся, як GRPO порівнює вибірку відповідей у ​​групі підказок, усуває критику та використовує ціль у стилі PPO для оновлень політики.

Пов'язані напрямні шляхиНормалізація згрупованої винагороди в Rlhf
Питання 1 з 8

У нормалізації згрупованої винагороди, з чим порівнюється винагорода кожної відповіді?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. У нормалізації згрупованої винагороди, з чим порівнюється винагорода кожної відповіді?
    • Середнє значення та стандартне відхилення власної групи підказок
    • Фіксована глобальна константа
    • Нагорода попередньої епохи
    • Кількість параметрів моделі
  2. Який алгоритм найбільш пов’язаний із нормалізацією згрупованої винагороди?
    • Стохастичний градієнтний спуск
    • GRPO (оптимізація відносної політики групи)
    • K-означає кластеризацію
    • Зворотне поширення
  3. Який компонент стандартного РРО значно виключає GRPO?
    • Модель винагороди
    • Нейронна мережа повністю
    • Мережа окремих цінностей (критик)
    • Дані про навчання
  4. Що відбувається з відповіддю, винагорода якої нижча за середнє значення групи?
    • Він отримує позитивну перевагу і посилюється
    • Його буде видалено з набору даних
    • Його винагорода подвоюється
    • Він отримує негативну перевагу і знеохочується
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy