Тест, свързан с ръководство · трудно Ниво

Нормализиране на групираната награда в RLHF тест

Научете как GRPO сравнява избрани отговори в рамките на група подкани, премахва критика и използва цел в стил PPO за актуализации на правилата.

Свързани ръководни пътекиНормализиране на групирана награда в Rlhf
Въпрос 1 на 8

При нормализацията на групираната награда, с какво се сравнява наградата за всеки отговор?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. При нормализацията на групираната награда, с какво се сравнява наградата за всеки отговор?
    • Средната стойност и стандартното отклонение на собствената група от подсказки
    • Фиксирана глобална константа
    • Наградата от предишната епоха
    • Брой параметри на модела
  2. Кой алгоритъм е най-свързан с нормализацията на групираната награда?
    • Стохастичен градиентен спускане
    • GRPO (оптимизиране на относителна групова политика)
    • K-означава групиране
    • Обратно разпространение
  3. Какъв компонент на стандартната PPO елиминира GRPO?
    • Моделът на възнаграждението
    • Невронната мрежа изцяло
    • Отделната ценностна мрежа (критик)
    • Данните за обучението
  4. Какво се случва с отговор, чиято награда е под средната стойност на групата?
    • Получава положително предимство и се подсилва
    • Изтрива се от набора от данни
    • Наградата му се удвоява
    • Получава отрицателно предимство и се обезсърчава
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy