Вікторина, пов’язана з посібником · Середній Рівень
Нормалізація довжини у тесті з оптимізації переваг
Дослідіть, як цілі налаштування переваг обробляють довжину відповіді, чому SimPO нормалізує показники маркерів і як оцінюються стислі відповіді.
Питання 1 з 8
Якій небажаній поведінці в першу чергу спрямована нормалізація довжини в DPO?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Якій небажаній поведінці в першу чергу спрямована нормалізація довжини в DPO?
- Моделі, які віддають перевагу довшим відповідям незалежно від фактичної якості
- Моделі відмовляються відповідати на запитання
- Моделює галюцинаційні факти
- Моделі надто повільно відповідають
- Чому неявна винагорода стандартного DPO має тенденцію до збільшення тривалості відповіді?
- Він примножує винагороду на температуру
- Це сума різниць логарифмів ймовірності кожного токена
- Він використовує фіксований бонус за речення
- Він чітко карає за короткі відповіді
- Як SimPO вирішує зміщення довжини?
- Це подвоює вагу еталонної моделі
- Він скорочує всі відповіді до фіксованої довжини
- Він використовує середню логарифмічну ймовірність кожного токена як винагороду
- Це повністю видаляє дані про налаштування
- Помітна структурна відмінність між SimPO та стандартним DPO полягає в тому, що SimPO:
- Потрібно вдвічі більше навчальних даних
- Працює лише на зображеннях
- Вимикає градієнтний спуск
- Не використовує окрему еталонну модель
- Яка практика оцінювання допомагає підтвердити покращену якість моделі, а не лише довжину?
- Повідомлення про контрольований коефіцієнт виграшу
- Підрахунок сумарних параметрів
- Вимірювання температури GPU
- Збільшення розміру партії
- Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
- What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
- What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail