Викторина, связанная с руководством · Средний Уровень

Викторина по оптимизации предпочтений в отношении соотношения шансов

Объясняет цель предпочтений ORPO без эталонной модели, штраф за отношение шансов и комбинированное обучение с учителем и предпочтениями.

Связанные направляющие путиОптимизация предпочтений по соотношению шансов
Вопрос 1 из 8

В чем основное практическое преимущество ORPO перед такими методами, как DPO?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. В чем основное практическое преимущество ORPO перед такими методами, как DPO?
    • Это устраняет необходимость в отдельной эталонной модели.
    • Он вообще не требует никаких обучающих данных
    • Работает только с моделями изображений.
    • Это гарантирует отсутствие галлюцинаций.
  2. С чем сравнивается «отношение шансов» в ORPO?
    • Скорость обучения против точности
    • Вероятность выбранного ответа по сравнению с отклоненным ответом
    • Две разные скорости обучения
    • Размер модели и размер набора данных
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. Какой комбинацией лучше всего описать потерю ORPO?
    • Перекрестная энтропия SFT плюс термин предпочтения взвешенного отношения шансов
    • Только оценка модели вознаграждения
    • Чистая отдача от обучения с подкреплением
    • Случайное введение шума
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • Размер словаря токенизатора
    • Количество голов внимания
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation