Quiz połączony z przewodnikiem · Średni Poziom
Normalizacja długości w quizie dotyczącym optymalizacji preferencji
Sprawdź, jak cele dostrajania preferencji radzą sobie z długością odpowiedzi, dlaczego SimPO normalizuje wyniki tokenów i jak oceniane są zwięzłe odpowiedzi.
Pytanie 1 z 8
Jakim niepożądanym zachowaniom ma przede wszystkim zapobiegać normalizacja długości w DPO?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Jakim niepożądanym zachowaniom ma przede wszystkim zapobiegać normalizacja długości w DPO?
- Modele faworyzujące dłuższe odpowiedzi niezależnie od rzeczywistej jakości
- Modelki odmawiające odpowiedzi na pytania
- Modele halucynacyjne fakty
- Modele reagują zbyt wolno
- Dlaczego ukryta nagroda standardowego DPO zwykle rośnie wraz z długością odpowiedzi?
- Mnoży nagrodę przez temperaturę
- Jest to suma różnic prawdopodobieństwa logu na token
- Wykorzystuje stałą premię za zdanie
- Wyraźnie karze krótkie odpowiedzi
- W jaki sposób SimPO rozwiązuje problem błędu związanego z długością?
- Podwaja wagę modelu referencyjnego
- Obcina wszystkie odpowiedzi do ustalonej długości
- Jako nagrodę wykorzystuje średnie prawdopodobieństwo logu na token
- Całkowicie usuwa dane preferencji
- Istotną różnicą strukturalną pomiędzy SimPO a standardowym DPO jest to, że SimPO:
- Wymaga dwa razy więcej danych treningowych
- Działa tylko na obrazach
- Wyłącza opadanie gradientowe
- Nie wykorzystuje odrębnego modelu referencyjnego
- Która praktyka ewaluacyjna pomaga potwierdzić, że model poprawił się pod względem jakości, a nie tylko długości?
- Zgłaszanie współczynnika wygranych kontrolowanego długością
- Liczenie parametrów całkowitych
- Pomiar temperatury procesora graficznego
- Zwiększanie wielkości partii
- Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
- What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
- What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail