Gids-gekoppelde quiz · Moeilijk Niveau

Versterking van het leren van menselijke feedbackquiz

Oefen RLHF-voorkeurgegevens, beloningsproxy's en referentieregularisatie, inclusief waarom passende oordelen geen feitelijke nauwkeurigheid garanderen.

Vraag 1 van 8

Wat is het belangrijkste doel van RLHF voor een taalmodel?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het belangrijkste doel van RLHF voor een taalmodel?
    • Om de resultaten ervan af te stemmen op de menselijke voorkeuren voor behulpzaamheid en veiligheid
    • Om het aantal parameters van het model te verhogen
    • Om het model te comprimeren voor snellere gevolgtrekkingen
    • Om het model in andere talen te vertalen
  2. Wat leert het beloningsmodel in RLHF eigenlijk?
    • Genereer de definitieve reacties voor gebruikers
    • Vertaal prompts naar een beloningsvaluta
    • Wijs een scalaire score toe die weergeeft hoeveel mensen een bepaalde reactie zouden verkiezen
    • Bepaal de leersnelheid van het model
  3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
    • Every factual error with a complete correctness guarantee
    • How far the optimized policy departs from the reference
    • The tokenizer vocabulary’s spelling
    • The number of human annotators automatically
  4. Hoe worden voorkeursgegevens doorgaans verzameld voor het beloningsmodel?
    • Mensen schrijven gloednieuwe antwoorden vanuit het niets
    • Het model beoordeelt zijn eigen vertrouwen
    • Willekeurige labels worden automatisch toegewezen
    • Mensen vergelijken twee modelreacties op dezelfde prompt en kiezen de betere
  5. Welk voordeel biedt DPO (Direct Preference Optimization) ten opzichte van de klassieke RLHF-pijplijn?
    • Er zijn helemaal geen gegevens nodig
    • Het garandeert dat het model nooit ongelijk kan hebben
    • Het optimaliseert het beleid rechtstreeks op basis van voorkeursparen, waarbij een afzonderlijk beloningsmodel en PPO-lus worden overgeslagen
    • Het elimineert de noodzaak van voortraining
  6. Waar komt veel van de feedback op het gebied van RLAIF en Constitutionele AI vandaan?
    • Van een AI-model dat reacties genereert of bekritiseert, waardoor het etiketteren van mensen wordt verminderd
    • Alleen van betaalde menselijke annotators
    • Van willekeurige nummergeneratoren
    • Rechtstreeks uit het voortrainingscorpus van het model
  7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
    • High reward proves the claim is true
    • The response must have been generated without tokens
    • The reference model’s vocabulary disappeared
    • A preference-based reward is a proxy and can be mistaken
  8. Why should an RLHF team examine whose preference comparisons were collected?
    • Annotator identity determines the GPU clock rate
    • The judgments and task distribution shape what the model is rewarded for
    • Every population has identical response preferences
    • Preference data affect only file compression