Вікторина, пов’язана з посібником · Середній Рівень

Вікторина щодо оптимізації політики

Перегляньте вирізки PPO, коефіцієнти політики, джерела винагород, штрафи KL, критику, переваги та обмеження RLHF мовної моделі. Перевірте припущення та обсяг.

Пов'язані напрямні шляхиОптимізація проксимальної політики
Питання 1 з 8

Яку проблему в першу чергу вирішує «вирізка» PPO?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку проблему в першу чергу вирішує «вирізка» PPO?
    • Надто великі оновлення політики, які дестабілізують навчання
    • Повільне завантаження даних
    • Обмеження обсягу словникового запасу
    • Використання пам'яті під час логічного висновку
  2. У мовній моделі RLHF із PPO, звідки зазвичай надходить сигнал винагороди?
    • Безпосередній людський підрахунок кожного токена
    • Навчена модель винагороди
    • Швидкість навчання оптимізатора
    • Розмір словникового запасу
  3. Що робить штраф за розбіжність KL у RLHF на основі PPO?
    • Прискорює генерацію токенів
    • Підвищує точність моделі винагороди
    • Утримує налаштовану модель від надто далекого відхилення від еталонної моделі
    • Усуває потребу в мережі цінностей
  4. Яка роль ціннісної (критичної) мережі в PPO?
    • Щоб створити кінцевий вихідний текст
    • Для зберігання даних навчання
    • Повністю замінити модель винагороди
    • Оцінити очікуваний прибуток, щоб можна було обчислити переваги
  5. Що означає «перевага» в РРО?
    • Наскільки дія була кращою за очікувану базову лінію
    • Загальна кількість параметрів моделі
    • Діапазон відсікання
    • Штрафний коефіцієнт KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized