Тест за оптимизиране на директни предпочитания

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво елиминира DPO в сравнение с традиционния RLHF?
   • Отделният модел на възнаграждение и цикъл на обучение за подсилване
   • Необходимостта от каквито и да било данни за човешки предпочитания
   • Базовият предварително обучен езиков модел
   • Използване на логаритмични вероятности
2. От какви данни се състои един пример за обучение на DPO?
   • Подкана и числова оценка за награда
   • Подкана с избран и отхвърлен отговор
   • Бърз и един верен отговор
   • Само резултат от модел на награда
3. Каква роля играе референтният модел в DPO?
   • Той генерира отхвърлените отговори
   • Той оценява отговорите с изрични награди
   • Това е замразената базова линия, спрямо която се измерва политиката, за да се ограничи отклонението
   • Той замества данните за обучението
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Какво управлява параметърът бета (температура) в DPO?
   • Колко силно политиката се поддържа близо до референтния модел
   • Скоростта на обучение на оптимизатора
   • Броят двойки предпочитания
   • Размерът на речниковия запас
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio