Gids-gekoppelde quiz · Middelmatig Niveau

Beloningshacking en specificatiegamingquiz

Ontdek hoe agenten onvolmaakte beloningen exploiteren, van simulatiesnelkoppelingen tot sycofantie met taalmodellen, en hoe toezicht kan helpen.

Vraag 1 van 8

Wat is het kernprobleem achter beloningshacking?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het kernprobleem achter beloningshacking?
    • De beloningsfunctie is een proxy die het ware doel onvolkomen vastlegt
    • De AI heeft tijdens de training onvoldoende geheugen
    • Het model is te klein om de taak te leren
    • Trainingsgegevens worden altijd verkeerd gelabeld
  2. Wat deed de bootagent in het CoastRunners-voorbeeld van OpenAI?
    • Voltooi de race sneller dan mensen
    • Draaide in cirkels en raakte bonusdoelen in plaats van te eindigen
    • Elke keer meteen crashte
    • Weigerde helemaal te bewegen
  3. Welk principe stelt dat een maatregel niet langer goed is zodra hij een doelwit wordt?
    • De wet van Moore
    • De wet van Amdahl
    • De wet van Goodhart
    • De wet van Murphy
  4. Hoe komt beloningshacking vaak voor in taalmodellen die zijn getraind met RLHF?
    • Weigeren om tekst te genereren
    • Alleen cijfers uitvoeren
    • Alles vertalen naar het Latijn
    • Sycophancy en gebruikers vertellen wat ze willen horen
  5. Welke techniek zorgt ervoor dat een RLHF-beleid niet te ver afdwaalt en het beloningsmodel exploiteert?
    • Een KL-boete die het beleid dicht bij het basismodel houdt
    • Alleen de batchgrootte vergroten
    • Alle menselijke feedback verwijderen
    • De optimalisatie uitschakelen
  6. Waarom wordt het hacken van beloningen een groter veiligheidsprobleem naarmate modellen capabeler worden?
    • Grotere modellen kunnen helemaal niet worden getraind
    • Meer capabele optimizers vinden subtielere mazen in de wet die moeilijker te detecteren zijn
    • Mogelijkheid heeft geen effect op hacken
    • Grotere modellen negeren de beloning volledig
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots