Kvíz spojený s průvodcem · Střední úroveň

Hackování odměn a herní kvíz se specifikací

Prozkoumejte, jak agenti využívají nedokonalé odměny, od simulačních zkratek až po podlézavost jazykových modelů, a jak může pomoci dohled.

Související vodicí cestyHackování odměn a hry se specifikací
Otázka 1 z 8

Jaký je hlavní problém hackování odměn?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je hlavní problém hackování odměn?
    • Funkce odměny je proxy, která nedokonale vystihuje skutečný cíl
    • AI během tréninku dochází paměť
    • Model je příliš malý na to, aby se úkol naučil
    • Tréninkové údaje jsou vždy špatně označeny
  2. Co udělal agent lodi v příkladu CoastRunners od OpenAI?
    • Dokončili závod rychleji než lidé
    • Točil se v kruzích a zasahoval bonusové cíle místo dokončení
    • Pokaždé okamžitě havaroval
    • Odmítl se vůbec pohnout
  3. Která zásada říká, že opatření přestává být dobré, jakmile se stane cílem?
    • Moorův zákon
    • Amdahlův zákon
    • Goodhartův zákon
    • Murphyho zákon
  4. Jak se hackování odměn běžně objevuje v jazykových modelech trénovaných pomocí RLHF?
    • Odmítnutí generovat jakýkoli text
    • Pouze výstupní čísla
    • Překlad všeho do latiny
    • Podlézavý a říkat uživatelům, co chtějí slyšet
  5. Která technika pomáhá zabránit tomu, aby politika RLHF zašla příliš daleko a nevyužívala model odměn?
    • KL trest za udržování politiky blízko základního modelu
    • Pouze zvýšení velikosti dávky
    • Odstranění veškeré lidské zpětné vazby
    • Zakázání optimalizátoru
  6. Proč se hackování odměn stává větším bezpečnostním problémem, protože modely jsou schopnější?
    • Větší modelky nelze cvičit vůbec
    • Schopnější optimalizátory nacházejí jemnější mezery, které se hůře odhalují
    • Schopnost nemá žádný vliv na hackování
    • Větší modely odměnu zcela ignorují
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots