Нормализация длины в тесте по оптимизации предпочтений

Ответы и пояснения появляются по мере прохождения теста.

1. Какое нежелательное поведение в первую очередь направлено на предотвращение нормализации длины в DPO?
   • Модели, предпочитающие более длительные ответы независимо от фактического качества
   • Модели отказываются отвечать на вопросы
   • Моделирование фактов о галлюцинациях
   • Модели отвечают слишком медленно
2. Почему неявное вознаграждение стандартного DPO имеет тенденцию увеличиваться с увеличением длины ответа?
   • Умножает награду на температуру
   • Это сумма разностей журналов вероятностей для каждого токена.
   • Он использует фиксированный бонус за предложение.
   • Он явно наказывает короткие ответы
3. Как SimPO решает проблему смещения длины?
   • Это удваивает вес эталонной модели.
   • Он обрезает все ответы до фиксированной длины.
   • В качестве вознаграждения он использует среднюю вероятность журнала для каждого токена.
   • Он полностью удаляет данные предпочтений
4. Заметное структурное различие между SimPO и стандартным DPO заключается в том, что SimPO:
   • Требуется в два раза больше обучающих данных
   • Работает только с изображениями
   • Отключает градиентный спуск
   • Не использует отдельную эталонную модель
5. Какая практика оценки помогает подтвердить улучшение качества модели, а не только ее длины?
   • Отчет о проценте выигрышей с контролируемой длиной
   • Подсчет общих параметров
   • Измерение температуры графического процессора
   • Увеличение размера пакета
6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
   • ImageNet, COCO, and GLUE
   • AlpacaEval 2, MT-Bench, and Arena-Hard
   • LibriSpeech, WER, and BLEU
   • MMLU, GSM8K, and HumanEval only
7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
   • Identical scores for both responses
   • A longer preferred response regardless of quality
   • A larger score difference in favor of the preferred response
   • A new reference model for every token
8. What risk can overly aggressive length normalization create?
   • It guarantees all answers have the same factual accuracy
   • It makes the reference model’s vocabulary larger
   • It prevents evaluators from comparing responses
   • It can favor answers that are too terse to include necessary detail