Тест, свързан с ръководство · Среден Ниво

Нормализация на дължината в теста за оптимизиране на предпочитанията

Проучете как целите за настройка на предпочитанията се справят с дължината на отговора, защо SimPO нормализира резултатите от символите и как се оценяват кратки отговори.

Свързани ръководни пътекиНормализация на дължината в оптимизацията на предпочитанията
Въпрос 1 на 8

Какво нежелано поведение основно цели да предотврати нормализирането на дължината в DPO?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво нежелано поведение основно цели да предотврати нормализирането на дължината в DPO?
    • Модели, предпочитащи по-дълги отговори, независимо от действителното качество
    • Модели отказват да отговарят на въпроси
    • Моделира халюциниращи факти
    • Моделите реагират твърде бавно
  2. Защо имплицитното възнаграждение на стандартния DPO има тенденция да се увеличава с дължината на отговора?
    • Умножава наградата по температура
    • Това е сбор от разликите в логаритмичните вероятности за токен
    • Той използва фиксиран бонус на изречение
    • Той изрично наказва кратките отговори
  3. Как SimPO се справя с отклонението на дължината?
    • Удвоява теглото на референтния модел
    • Той съкращава всички отговори до фиксирана дължина
    • Той използва средната лог-вероятност за токен като награда
    • Той премахва изцяло данните за предпочитанията
  4. Забележителна структурна разлика между SimPO и стандартния DPO е, че SimPO:
    • Изисква два пъти повече данни за обучение
    • Работи само върху изображения
    • Деактивира градиентно спускане
    • Не използва отделен референтен модел
  5. Коя практика за оценяване помага да се потвърди модел, подобрен по отношение на качеството, а не само по дължина?
    • Отчитане на процент на печалба с контролирана дължина
    • Преброяване на общите параметри
    • Измерване на температурата на GPU
    • Увеличаване на размера на партидата
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail