Gids-gekoppelde quiz · Moeilijk Niveau
Versterking van het leren van menselijke feedbackquiz
Oefen RLHF-voorkeurgegevens, beloningsproxy's en referentieregularisatie, inclusief waarom passende oordelen geen feitelijke nauwkeurigheid garanderen.
Vraag 1 van 8
Wat is het belangrijkste doel van RLHF voor een taalmodel?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het belangrijkste doel van RLHF voor een taalmodel?
- Om de resultaten ervan af te stemmen op de menselijke voorkeuren voor behulpzaamheid en veiligheid
- Om het aantal parameters van het model te verhogen
- Om het model te comprimeren voor snellere gevolgtrekkingen
- Om het model in andere talen te vertalen
- Wat leert het beloningsmodel in RLHF eigenlijk?
- Genereer de definitieve reacties voor gebruikers
- Vertaal prompts naar een beloningsvaluta
- Wijs een scalaire score toe die weergeeft hoeveel mensen een bepaalde reactie zouden verkiezen
- Bepaal de leersnelheid van het model
- What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
- Every factual error with a complete correctness guarantee
- How far the optimized policy departs from the reference
- The tokenizer vocabulary’s spelling
- The number of human annotators automatically
- Hoe worden voorkeursgegevens doorgaans verzameld voor het beloningsmodel?
- Mensen schrijven gloednieuwe antwoorden vanuit het niets
- Het model beoordeelt zijn eigen vertrouwen
- Willekeurige labels worden automatisch toegewezen
- Mensen vergelijken twee modelreacties op dezelfde prompt en kiezen de betere
- Welk voordeel biedt DPO (Direct Preference Optimization) ten opzichte van de klassieke RLHF-pijplijn?
- Er zijn helemaal geen gegevens nodig
- Het garandeert dat het model nooit ongelijk kan hebben
- Het optimaliseert het beleid rechtstreeks op basis van voorkeursparen, waarbij een afzonderlijk beloningsmodel en PPO-lus worden overgeslagen
- Het elimineert de noodzaak van voortraining
- Waar komt veel van de feedback op het gebied van RLAIF en Constitutionele AI vandaan?
- Van een AI-model dat reacties genereert of bekritiseert, waardoor het etiketteren van mensen wordt verminderd
- Alleen van betaalde menselijke annotators
- Van willekeurige nummergeneratoren
- Rechtstreeks uit het voortrainingscorpus van het model
- An RLHF response receives a high learned reward but contains a false claim. What does this show?
- High reward proves the claim is true
- The response must have been generated without tokens
- The reference model’s vocabulary disappeared
- A preference-based reward is a proxy and can be mistaken
- Why should an RLHF team examine whose preference comparisons were collected?
- Annotator identity determines the GPU clock rate
- The judgments and task distribution shape what the model is rewarded for
- Every population has identical response preferences
- Preference data affect only file compression