Gids-gekoppelde quiz · Middelmatig Niveau
Iteratieve DPO en online quiz voor het afstemmen van voorkeuren
Ontdek hoe iteratieve DPO voorkeursgegevens vernieuwt, juryleden gebruikt en herhaalde afstemmingsrondes uitwisselt tegen extra kosten en vooringenomenheid.
Vraag 1 van 8
Wat vermijdt DPO dat traditionele RLHF (PPO) vereist?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat vermijdt DPO dat traditionele RLHF (PPO) vereist?
- Een apart expliciet beloningsmodel trainen
- Eventuele trainingsgegevens
- Een neuraal netwerk gebruiken
- Menselijke voorkeuren geheel
- Waarom is iteratieve (online) DPO vaak beter dan eenmalig DPO draaien op een vaste dataset?
- Er zijn geen voorkeurslabels nodig
- Het houdt de trainingsgegevens actueel en up-to-date naarmate het model verandert
- Het verwijdert het referentiemodel
- Het werkt alleen voor afbeeldingen
- Welke rol speelt het referentiemodel bij het DPO-verlies?
- Het genereert de uiteindelijke gebruikersuitvoer
- Het labelt de voorkeuren
- Het verankert het beleid via een log-waarschijnlijkheidsratio, waardoor afwijkingen worden beheerst
- Het vervangt de tokenizer
- Wat is de gebruikelijke volgorde in een enkele versie van online DPO?
- Verwijder het model en train het opnieuw vanaf nul
- Herlabel alleen oude gegevens zonder steekproeven
- Train een CNN op de reacties
- Probeer nieuwe reacties uit, beoordeel voorkeuren en voer vervolgens een DPO-update uit
- Wat controleert de bèta-hyperparameter in DPO?
- Hoe sterk het beleid afwijkt van het referentiemodel
- De woordenschatgrootte
- Het aantal GPU's
- De beeldresolutie
- Wat is een sleutelidee achter de 'zelfbelonende' iteratieve DPO?
- Het model gebruikt nooit voorkeuren
- Het model genereert en beoordeelt zijn eigen responsparen om trainingsgegevens te creëren
- Mensen moeten elk paar een label geven
- Er wordt alleen gebruik gemaakt van willekeurige beloningen
- Who can label response preferences in an online DPO iteration?
- Only the tokenizer
- Only the reference policy’s embedding layer
- Human raters or an AI judge such as a reward model
- A discriminator that never sees responses
- What additional work does iterative DPO require compared with using a fixed preference dataset once?
- Training no model parameters
- Removing all evaluation from the pipeline
- Storing every possible response in advance
- Repeated response generation and preference labeling between updates