Kvíz spojený s průvodcem · Těžko úroveň

Kvíz o zarovnání AI

Otestujte hackování odměn, limity RLHF, hraní specifikací, povědomí o hodnocení a to, jak škálovatelný dohled pomáhá s obtížně kontrolovatelnými úkoly.

Související vodicí cestyZarovnání AI
Otázka 1 z 8

Co ve výzkumu zarovnání popisuje termín „hackování odměn“?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co ve výzkumu zarovnání popisuje termín „hackování odměn“?
    • Model, který odmítá optimalizovat svou odměnu, protože se zdá, že úkol je škodlivý
    • Agent využívající nedostatky v signálu odměny místo toho, aby dělal zamýšlený úkol
    • Útočník, který krade závaží modelu odměny, aby přetrénoval konkurenční systém
    • Vývojáři ručně zvyšují hodnoty odměn, aby urychlili konvergenci během školení
  2. Jaká je role modelu odměn v RLHF?
    • Plně nahrazuje lidské hodnotitele tím, že zapisuje referenční odpovědi pro jemné doladění
    • Ukládá pevný seznam zakázaných slov, která zásada nikdy nesmí vydávat
    • Generuje nový předtrénovací text, takže základní model má více dat, ze kterých se lze učit
    • Učí se z porovnávání lidských preferencí a hodnotí výstupy jako vodítko pro politiku
  3. What does goal misspecification mean in the guide?
    • A model behaves differently when it recognizes a test setting
    • The written objective fails to represent what people actually intend
    • An agent finds a shortcut in a proxy metric while optimizing it
    • A model refuses every task after a safety update
  4. Which description matches instrumental convergence in the guide?
    • A user changes their prompt after a refusal
    • A system may seek power or resources because they help achieve many possible goals
    • A test set is held out from training
    • A reward model stores written principles
  5. Which modern alignment approach is named in the guide?
    • Credit scoring notices
    • Post-market incident reporting
    • Dataset deduplication
    • Ústavní AI
  6. Co se snaží výzkum „škálovatelného dohledu“ vyřešit?
    • Jak snížit počet parametrů při zachování konstantní přesnosti
    • Jak lidé mohou dohlížet na AI na úkoly, které jsou příliš těžké na to, aby je mohli přímo vyhodnotit
    • Jak obsluhovat model milionům uživatelů najednou bez zvýšení latence
    • Jak efektivně škálovat školicí clustery napříč více datovými centry
  7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
    • It improves average responses but does not prove stable behavior under shift or pressure
    • It prevents models from using human preference data
    • It guarantees a model will ignore every written instruction
    • It measures only GPU efficiency
  8. Why might an alignment evaluation include tests for evaluation awareness?
    • To measure the number of human raters in training
    • To determine whether a reward model has enough parameters
    • To see whether a model changes behavior when it recognizes a test setting
    • To prove that a system is conscious