Gids-gekoppelde quiz · Middelmatig Niveau

Lengtenormalisatie in de quiz voor voorkeursoptimalisatie

Onderzoek hoe doelstellingen voor het afstemmen van voorkeuren omgaan met de responslengte, waarom SimPO tokenscores normaliseert en hoe beknopte antwoorden worden geëvalueerd.

Vraag 1 van 8

Welk ongewenst gedrag wil lengtenormalisatie bij DPO vooral voorkomen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk ongewenst gedrag wil lengtenormalisatie bij DPO vooral voorkomen?
    • Modellen die de voorkeur geven aan langere reacties, ongeacht de werkelijke kwaliteit
    • Modellen weigeren vragen te beantwoorden
    • Modellen hallucinerende feiten
    • Modellen reageren te langzaam
  2. Waarom wordt de impliciete beloning van de standaard DPO doorgaans groter naarmate de responsduur toeneemt?
    • Het vermenigvuldigt de beloning met de temperatuur
    • Het is een som van de waarschijnlijkheidsverschillen per token
    • Er wordt gebruik gemaakt van een vaste bonus per zin
    • Het bestraft korte antwoorden expliciet
  3. Hoe gaat SimPO om met de lengtebias?
    • Het verdubbelt het gewicht van het referentiemodel
    • Het kapt alle reacties af tot een vaste lengte
    • Het gebruikt de gemiddelde logwaarschijnlijkheid per token als beloning
    • Het verwijdert de voorkeursgegevens volledig
  4. Een opmerkelijk structureel verschil tussen SimPO en standaard DPO is dat SimPO:
    • Vereist twee keer zoveel trainingsgegevens
    • Werkt alleen op afbeeldingen
    • Schakelt gradiëntafdaling uit
    • Maakt geen gebruik van een apart referentiemodel
  5. Welke evaluatiepraktijk helpt bij het bevestigen van een model dat verbeterd is in kwaliteit in plaats van alleen in lengte?
    • Rapporteert een lengtegecontroleerd winstpercentage
    • Totale parameters tellen
    • GPU-temperatuur meten
    • Het vergroten van de batchgrootte
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail