Викторина по оптимизации прямых предпочтений

Ответы и пояснения появляются по мере прохождения теста.

1. Что устраняет DPO по сравнению с традиционным RLHF?
   • Отдельная модель вознаграждения и цикл обучения с подкреплением
   • Необходимость каких-либо данных о предпочтениях человека
   • Базовая предварительно обученная языковая модель
   • Использование логарифмических вероятностей
2. Из каких данных состоит один пример обучения DPO?
   • Подсказка и числовой балл вознаграждения
   • Подсказка с выбранным и отклоненным ответом
   • Подсказка и единственный правильный ответ
   • Только выходные данные модели вознаграждения
3. Какую роль эталонная модель играет в DPO?
   • Он генерирует отклоненные ответы
   • Он оценивает ответы с явными вознаграждениями.
   • Это замороженный базовый уровень, относительно которого измеряется политика, чтобы ограничить дрейф.
   • Он заменяет данные обучения
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Что контролирует параметр бета (температура) в ДПО?
   • Насколько сильно политика приближена к эталонной модели
   • Скорость обучения оптимизатора
   • Количество пар предпочтений
   • Размер словарного запаса
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio