Вікторина, пов’язана з посібником · Середній Рівень

Тест щодо оптимізації прямих переваг

Ознайомтеся з парами налаштувань DPO, довідковою політикою, неявними винагородами, бета-версією, варіантами та обмеженнями навчання прямих налаштувань.

Пов'язані напрямні шляхиПряма оптимізація переваг
Питання 1 з 8

Що виключає DPO порівняно з традиційним RLHF?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що виключає DPO порівняно з традиційним RLHF?
    • Окрема модель винагороди та цикл навчання з підкріпленням
    • Потреба в будь-яких даних про переваги людини
    • Базова попередньо навчена модель мови
    • Використання логарифмів ймовірностей
  2. З яких даних складається окремий приклад навчання DPO?
    • Підказка та числова оцінка винагороди
    • Підказка з вибраною та відхиленою відповіддю
    • Підказка і одна правильна відповідь
    • Лише результат моделі винагороди
  3. Яку роль відіграє еталонна модель у DPO?
    • Він генерує відхилені відповіді
    • Він оцінює відповіді з явними винагородами
    • Це заморожена базова лінія, за якою політика оцінюється для обмеження дрейфу
    • Він замінює навчальні дані
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. Що контролює параметр бета (температура) в DPO?
    • Наскільки політика наближена до еталонної моделі
    • Швидкість навчання оптимізатора
    • Кількість пар переваг
    • Розмір словникового запасу
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio