Gids-gekoppelde quiz · Middelmatig Niveau

Iteratieve DPO en online quiz voor het afstemmen van voorkeuren

Ontdek hoe iteratieve DPO voorkeursgegevens vernieuwt, juryleden gebruikt en herhaalde afstemmingsrondes uitwisselt tegen extra kosten en vooringenomenheid.

Vraag 1 van 8

Wat vermijdt DPO dat traditionele RLHF (PPO) vereist?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat vermijdt DPO dat traditionele RLHF (PPO) vereist?
    • Een apart expliciet beloningsmodel trainen
    • Eventuele trainingsgegevens
    • Een neuraal netwerk gebruiken
    • Menselijke voorkeuren geheel
  2. Waarom is iteratieve (online) DPO vaak beter dan eenmalig DPO draaien op een vaste dataset?
    • Er zijn geen voorkeurslabels nodig
    • Het houdt de trainingsgegevens actueel en up-to-date naarmate het model verandert
    • Het verwijdert het referentiemodel
    • Het werkt alleen voor afbeeldingen
  3. Welke rol speelt het referentiemodel bij het DPO-verlies?
    • Het genereert de uiteindelijke gebruikersuitvoer
    • Het labelt de voorkeuren
    • Het verankert het beleid via een log-waarschijnlijkheidsratio, waardoor afwijkingen worden beheerst
    • Het vervangt de tokenizer
  4. Wat is de gebruikelijke volgorde in een enkele versie van online DPO?
    • Verwijder het model en train het opnieuw vanaf nul
    • Herlabel alleen oude gegevens zonder steekproeven
    • Train een CNN op de reacties
    • Probeer nieuwe reacties uit, beoordeel voorkeuren en voer vervolgens een DPO-update uit
  5. Wat controleert de bèta-hyperparameter in DPO?
    • Hoe sterk het beleid afwijkt van het referentiemodel
    • De woordenschatgrootte
    • Het aantal GPU's
    • De beeldresolutie
  6. Wat is een sleutelidee achter de 'zelfbelonende' iteratieve DPO?
    • Het model gebruikt nooit voorkeuren
    • Het model genereert en beoordeelt zijn eigen responsparen om trainingsgegevens te creëren
    • Mensen moeten elk paar een label geven
    • Er wordt alleen gebruik gemaakt van willekeurige beloningen
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates