Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Jutalom Hackelés és Specification Gaming Kvíz
Explore how agents exploit imperfect rewards, from simulation shortcuts to language-model sycophancy, and how oversight can help.
kérdés 1 -ból 8
Mi az alapvető probléma a jutalomhackelés mögött?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az alapvető probléma a jutalomhackelés mögött?
- A jutalom függvény egy olyan proxy, amely tökéletlenül rögzíti a valódi célt
- Az AI-nak elfogy a memóriája edzés közben
- A modell túl kicsi a feladat megtanulásához
- Az edzésadatok mindig rosszul vannak felcímkézve
- OpenAI CoastRunners példájában mit csinált a hajóügynök?
- Gyorsabban fejezte be a versenyt, mint az emberek
- Pörögj körbe, és bónuszcélokat találsz el, ahelyett, hogy befejeznéd
- Minden alkalommal azonnal lezuhant
- Egyáltalán nem volt hajlandó elköltözni
- Melyik elv mondja ki, hogy egy intézkedés megszűnik jónak lenni, ha célponttá válik?
- Moore törvénye
- Amdahl törvénye
- Goodhart törvénye
- Murphy törvénye
- Hogyan jelenik meg általában a jutalomhackelés az RLHF-vel kiképzett nyelvi modellekben?
- Szöveg generálásának megtagadása
- Csak számokat ír ki
- Mindent latinra fordítani
- Szimpatikusság és annak elmondása a felhasználóknak, amit hallani szeretnének
- Melyik technika segít megakadályozni, hogy az RLHF-politika túl messzire sodródjon, és ne használja ki a jutalmazási modellt?
- KL büntetés, amely az alapmodell közelében tartja a politikát
- Csak a tétel méretének növelése
- Minden emberi visszajelzés eltávolítása
- Az optimalizáló letiltása
- Miért válik a jutalomhackelés egyre nagyobb biztonsági problémává, ahogy a modellek egyre alkalmasabbakká válnak?
- A nagyobb modelleket egyáltalán nem lehet kiképezni
- A nagyobb képességű optimalizálók finomabb kiskapukat találnak, amelyeket nehezebb észlelni
- A képesség nincs hatással a hackelésre
- A nagyobb modellek figyelmen kívül hagyják a jutalmat
- What does process-based supervision reward in addition to a final answer?
- Only the number of tokens in the final answer
- The agent’s ability to disable its evaluator
- The quality of intermediate steps used to reach the answer
- A score unrelated to the task
- Why can a reward-model ensemble help detect reward hacking?
- It guarantees the reward proxy exactly matches human intent
- It removes the need to test the policy
- It makes all reward models produce identical scores
- Disagreement among models can flag outputs that exploit one scorer’s blind spots