Kvíz spojený s průvodcem · Střední úroveň
Hackování odměn a herní kvíz se specifikací
Prozkoumejte, jak agenti využívají nedokonalé odměny, od simulačních zkratek až po podlézavost jazykových modelů, a jak může pomoci dohled.
Otázka 1 z 8
Jaký je hlavní problém hackování odměn?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je hlavní problém hackování odměn?
- Funkce odměny je proxy, která nedokonale vystihuje skutečný cíl
- AI během tréninku dochází paměť
- Model je příliš malý na to, aby se úkol naučil
- Tréninkové údaje jsou vždy špatně označeny
- Co udělal agent lodi v příkladu CoastRunners od OpenAI?
- Dokončili závod rychleji než lidé
- Točil se v kruzích a zasahoval bonusové cíle místo dokončení
- Pokaždé okamžitě havaroval
- Odmítl se vůbec pohnout
- Která zásada říká, že opatření přestává být dobré, jakmile se stane cílem?
- Moorův zákon
- Amdahlův zákon
- Goodhartův zákon
- Murphyho zákon
- Jak se hackování odměn běžně objevuje v jazykových modelech trénovaných pomocí RLHF?
- Odmítnutí generovat jakýkoli text
- Pouze výstupní čísla
- Překlad všeho do latiny
- Podlézavý a říkat uživatelům, co chtějí slyšet
- Která technika pomáhá zabránit tomu, aby politika RLHF zašla příliš daleko a nevyužívala model odměn?
- KL trest za udržování politiky blízko základního modelu
- Pouze zvýšení velikosti dávky
- Odstranění veškeré lidské zpětné vazby
- Zakázání optimalizátoru
- Proč se hackování odměn stává větším bezpečnostním problémem, protože modely jsou schopnější?
- Větší modelky nelze cvičit vůbec
- Schopnější optimalizátory nacházejí jemnější mezery, které se hůře odhalují
- Schopnost nemá žádný vliv na hackování
- Větší modely odměnu zcela ignorují
- What does process-based supervision reward in addition to a final answer?
- Only the number of tokens in the final answer
- The agent’s ability to disable its evaluator
- The quality of intermediate steps used to reach the answer
- A score unrelated to the task
- Why can a reward-model ensemble help detect reward hacking?
- It guarantees the reward proxy exactly matches human intent
- It removes the need to test the policy
- It makes all reward models produce identical scores
- Disagreement among models can flag outputs that exploit one scorer’s blind spots