Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Jutalom Hackelés és Specification Gaming Kvíz

Explore how agents exploit imperfect rewards, from simulation shortcuts to language-model sycophancy, and how oversight can help.

Kapcsolódó útmutató utakJutalom Hackelés és Specification Gaming
kérdés 1 -ból 8

Mi az alapvető probléma a jutalomhackelés mögött?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az alapvető probléma a jutalomhackelés mögött?
    • A jutalom függvény egy olyan proxy, amely tökéletlenül rögzíti a valódi célt
    • Az AI-nak elfogy a memóriája edzés közben
    • A modell túl kicsi a feladat megtanulásához
    • Az edzésadatok mindig rosszul vannak felcímkézve
  2. OpenAI CoastRunners példájában mit csinált a hajóügynök?
    • Gyorsabban fejezte be a versenyt, mint az emberek
    • Pörögj körbe, és bónuszcélokat találsz el, ahelyett, hogy befejeznéd
    • Minden alkalommal azonnal lezuhant
    • Egyáltalán nem volt hajlandó elköltözni
  3. Melyik elv mondja ki, hogy egy intézkedés megszűnik jónak lenni, ha célponttá válik?
    • Moore törvénye
    • Amdahl törvénye
    • Goodhart törvénye
    • Murphy törvénye
  4. Hogyan jelenik meg általában a jutalomhackelés az RLHF-vel kiképzett nyelvi modellekben?
    • Szöveg generálásának megtagadása
    • Csak számokat ír ki
    • Mindent latinra fordítani
    • Szimpatikusság és annak elmondása a felhasználóknak, amit hallani szeretnének
  5. Melyik technika segít megakadályozni, hogy az RLHF-politika túl messzire sodródjon, és ne használja ki a jutalmazási modellt?
    • KL büntetés, amely az alapmodell közelében tartja a politikát
    • Csak a tétel méretének növelése
    • Minden emberi visszajelzés eltávolítása
    • Az optimalizáló letiltása
  6. Miért válik a jutalomhackelés egyre nagyobb biztonsági problémává, ahogy a modellek egyre alkalmasabbakká válnak?
    • A nagyobb modelleket egyáltalán nem lehet kiképezni
    • A nagyobb képességű optimalizálók finomabb kiskapukat találnak, amelyeket nehezebb észlelni
    • A képesség nincs hatással a hackelésre
    • A nagyobb modellek figyelmen kívül hagyják a jutalmat
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots