Тест, свързан с ръководство · Среден Ниво

Тест за оптимизиране на проксималната политика

Прегледайте изрязването на PPO, съотношенията на правилата, източниците на възнаграждение, KL наказанията, критиците, предимствата и ограниченията на езиковия модел RLHF. Проверете допусканията и обхвата.

Свързани ръководни пътекиОптимизация на проксималната политика
Въпрос 1 на 8

Какъв проблем основно адресира „изрязването“ на PPO?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какъв проблем основно адресира „изрязването“ на PPO?
    • Твърде големи актуализации на правилата, които дестабилизират обучението
    • Бавно зареждане на данни
    • Ограничения за размера на речника
    • Използване на памет по време на извод
  2. В езиковия модел RLHF с PPO, откъде обикновено идва сигналът за награда?
    • Директно човешко оценяване на всеки жетон
    • Обучен модел на възнаграждение
    • Степента на обучение на оптимизатора
    • Размерът на речниковия запас
  3. Какво прави наказанието за KL-дивергенция в базиран на PPO RLHF?
    • Ускорява генерирането на токени
    • Повишава точността на модела за възнаграждение
    • Предпазва фино настроения модел от отдалечаване твърде далеч от референтния модел
    • Премахва необходимостта от мрежа със стойност
  4. Каква е ролята на ценностната (критична) мрежа в PPO?
    • За генериране на крайния текстов изход
    • За съхраняване на данните за обучението
    • Да замени изцяло модела на възнаграждението
    • За оценка на очакваната възвръщаемост, така че предимствата да могат да бъдат изчислени
  5. Какво представлява „предимството“ в PPO?
    • Колко по-добро беше едно действие от очакваната базова линия
    • Общият брой параметри на модела
    • Диапазонът на изрязване
    • Наказателният коефициент на KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized