Тест, свързан с ръководство · трудно Ниво

Тест за оптимизиране на относителна групова политика

Приложете нормализиране на възнаграждението на групата GRPO, премахване на критиците и регулиране на референтната политика, включително какво означават относителните предимства в рамките на една подкана.

Свързани ръководни пътекиОптимизация на груповата относителна политика
Въпрос 1 на 8

Which separately learned estimator does the original GRPO approach avoid training?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Как GRPO изчислява предимството за дадено завършване?
    • Чрез заявка за глава на научена стойност при всеки токен
    • Чрез използване на суровата награда без нормализиране
    • Като го сравнявате със завършвания от различна подкана
    • Като стандартизира възнаграждението си спрямо средната стойност и стандартното отклонение на групата си завършвания на братя и сестри
  3. Кои модели направиха GRPO известен?
    • Моделите DeepSeekMath и DeepSeek-R1 на DeepSeek
    • Серията GPT-2 на OpenAI
    • Оригиналният BERT на Google
    • Базовите модели Llama 2 на Meta
  4. Каква роля играе терминът на KL-дивергенция в GRPO?
    • Той генерира групата завършвания
    • Той замества модела на възнаграждение
    • Той предпазва обучената политика от отдалечаване твърде далеч от замразен референтен модел
    • Той изчислява оценката на стойността на токен
  5. Защо GRPO е особено привлекателен за обучение на модели за разсъждение по математика или код?
    • Изобщо не изисква сигнал за награда
    • Работи само с етикети за човешки предпочитания
    • Не може да използва извадкови завършвания
    • Работи естествено с проверими, базирани на правила награди (напр. съвпада ли отговорът или преминаха ли тестовете), оценени в група от извадкови решения
  6. Какво е едно известно пристрастие, което последващата работа (като д-р GRPO) се опитва да коригира във vanilla GRPO?
    • Тенденция да се игнорира изцяло наградата
    • Пристрастия относно дължината и трудността, въведени от това как се нормализират наградите
    • Невъзможност за вземане на проби от повече от едно завършване
    • Изискване за огромна мрежа от критици
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks