Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o zarovnání AI
Otestujte hackování odměn, limity RLHF, hraní specifikací, povědomí o hodnocení a to, jak škálovatelný dohled pomáhá s obtížně kontrolovatelnými úkoly.
Otázka 1 z 8
Co ve výzkumu zarovnání popisuje termín „hackování odměn“?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co ve výzkumu zarovnání popisuje termín „hackování odměn“?
- Model, který odmítá optimalizovat svou odměnu, protože se zdá, že úkol je škodlivý
- Agent využívající nedostatky v signálu odměny místo toho, aby dělal zamýšlený úkol
- Útočník, který krade závaží modelu odměny, aby přetrénoval konkurenční systém
- Vývojáři ručně zvyšují hodnoty odměn, aby urychlili konvergenci během školení
- Jaká je role modelu odměn v RLHF?
- Plně nahrazuje lidské hodnotitele tím, že zapisuje referenční odpovědi pro jemné doladění
- Ukládá pevný seznam zakázaných slov, která zásada nikdy nesmí vydávat
- Generuje nový předtrénovací text, takže základní model má více dat, ze kterých se lze učit
- Učí se z porovnávání lidských preferencí a hodnotí výstupy jako vodítko pro politiku
- What does goal misspecification mean in the guide?
- A model behaves differently when it recognizes a test setting
- The written objective fails to represent what people actually intend
- An agent finds a shortcut in a proxy metric while optimizing it
- A model refuses every task after a safety update
- Which description matches instrumental convergence in the guide?
- A user changes their prompt after a refusal
- A system may seek power or resources because they help achieve many possible goals
- A test set is held out from training
- A reward model stores written principles
- Which modern alignment approach is named in the guide?
- Credit scoring notices
- Post-market incident reporting
- Dataset deduplication
- Ústavní AI
- Co se snaží výzkum „škálovatelného dohledu“ vyřešit?
- Jak snížit počet parametrů při zachování konstantní přesnosti
- Jak lidé mohou dohlížet na AI na úkoly, které jsou příliš těžké na to, aby je mohli přímo vyhodnotit
- Jak obsluhovat model milionům uživatelů najednou bez zvýšení latence
- Jak efektivně škálovat školicí clustery napříč více datovými centry
- Why does preference optimization not prove that a model has adopted human intent as an internal goal?
- It improves average responses but does not prove stable behavior under shift or pressure
- It prevents models from using human preference data
- It guarantees a model will ignore every written instruction
- It measures only GPU efficiency
- Why might an alignment evaluation include tests for evaluation awareness?
- To measure the number of human raters in training
- To determine whether a reward model has enough parameters
- To see whether a model changes behavior when it recognizes a test setting
- To prove that a system is conscious