Gids-gekoppelde quiz · Middelmatig Niveau
Beloningshacking en specificatiegamingquiz
Ontdek hoe agenten onvolmaakte beloningen exploiteren, van simulatiesnelkoppelingen tot sycofantie met taalmodellen, en hoe toezicht kan helpen.
Vraag 1 van 8
Wat is het kernprobleem achter beloningshacking?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het kernprobleem achter beloningshacking?
- De beloningsfunctie is een proxy die het ware doel onvolkomen vastlegt
- De AI heeft tijdens de training onvoldoende geheugen
- Het model is te klein om de taak te leren
- Trainingsgegevens worden altijd verkeerd gelabeld
- Wat deed de bootagent in het CoastRunners-voorbeeld van OpenAI?
- Voltooi de race sneller dan mensen
- Draaide in cirkels en raakte bonusdoelen in plaats van te eindigen
- Elke keer meteen crashte
- Weigerde helemaal te bewegen
- Welk principe stelt dat een maatregel niet langer goed is zodra hij een doelwit wordt?
- De wet van Moore
- De wet van Amdahl
- De wet van Goodhart
- De wet van Murphy
- Hoe komt beloningshacking vaak voor in taalmodellen die zijn getraind met RLHF?
- Weigeren om tekst te genereren
- Alleen cijfers uitvoeren
- Alles vertalen naar het Latijn
- Sycophancy en gebruikers vertellen wat ze willen horen
- Welke techniek zorgt ervoor dat een RLHF-beleid niet te ver afdwaalt en het beloningsmodel exploiteert?
- Een KL-boete die het beleid dicht bij het basismodel houdt
- Alleen de batchgrootte vergroten
- Alle menselijke feedback verwijderen
- De optimalisatie uitschakelen
- Waarom wordt het hacken van beloningen een groter veiligheidsprobleem naarmate modellen capabeler worden?
- Grotere modellen kunnen helemaal niet worden getraind
- Meer capabele optimizers vinden subtielere mazen in de wet die moeilijker te detecteren zijn
- Mogelijkheid heeft geen effect op hacken
- Grotere modellen negeren de beloning volledig
- What does process-based supervision reward in addition to a final answer?
- Only the number of tokens in the final answer
- The agent’s ability to disable its evaluator
- The quality of intermediate steps used to reach the answer
- A score unrelated to the task
- Why can a reward-model ensemble help detect reward hacking?
- It guarantees the reward proxy exactly matches human intent
- It removes the need to test the policy
- It makes all reward models produce identical scores
- Disagreement among models can flag outputs that exploit one scorer’s blind spots