Útmutatóhoz kapcsolódó kvíz · Kemény Szint
AI igazítási kvíz
Test reward hacking, RLHF limits, specification gaming, evaluation awareness, and how scalable oversight helps with hard-to-check tasks.
kérdés 1 -ból 8
Mit ír le az igazodáskutatásban a "jutalmazó hacker" kifejezés?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit ír le az igazodáskutatásban a "jutalmazó hacker" kifejezés?
- Egy modell, amely nem hajlandó optimalizálni jutalmát, mert a feladat károsnak tűnik
- Egy ügynök kihasználja a jutalmazási jel hibáit, ahelyett, hogy elvégezné a tervezett feladatot
- Egy támadó, aki ellopja a jutalommodell súlyait, hogy átképezzen egy versengő rendszert
- A fejlesztők manuálisan emelik a jutalomértékeket, hogy felgyorsítsák a konvergenciát az edzés során
- Az RLHF-ben mi a jutalommodell szerepe?
- Teljesen leváltja az emberi értékelőket azáltal, hogy megírja a referenciaválaszokat a finomhangoláshoz
- Rögzített listát tárol a tiltott szavakról, amelyeket a házirend soha nem adhat ki
- Új előtanítási szöveget hoz létre, így az alapmodellnek több adata van, amelyből tanulhat
- Tanul az emberi preferenciák összehasonlításából, és pontozza a kimeneteket, hogy irányítsa a politikát
- What does goal misspecification mean in the guide?
- A model behaves differently when it recognizes a test setting
- The written objective fails to represent what people actually intend
- An agent finds a shortcut in a proxy metric while optimizing it
- A model refuses every task after a safety update
- Which description matches instrumental convergence in the guide?
- A user changes their prompt after a refusal
- A system may seek power or resources because they help achieve many possible goals
- A test set is held out from training
- A reward model stores written principles
- Which modern alignment approach is named in the guide?
- Credit scoring notices
- Post-market incident reporting
- Dataset deduplication
- Alkotmányos AI
- Mit próbál megoldani a "skálázható felügyeleti" kutatás?
- Hogyan csökkenthető a paraméterek száma, miközben a pontosság állandó marad
- Hogyan tudják az emberek felügyelni az MI-t olyan feladatokon, amelyek túl nehézkesek ahhoz, hogy közvetlenül értékeljék
- Hogyan szolgálhatunk ki egy modellt egyszerre több millió felhasználónak a késleltetés növelése nélkül
- Hogyan lehet hatékonyan skálázni a képzési fürtöket több adatközpontban
- Why does preference optimization not prove that a model has adopted human intent as an internal goal?
- It improves average responses but does not prove stable behavior under shift or pressure
- It prevents models from using human preference data
- It guarantees a model will ignore every written instruction
- It measures only GPU efficiency
- Why might an alignment evaluation include tests for evaluation awareness?
- To measure the number of human raters in training
- To determine whether a reward model has enough parameters
- To see whether a model changes behavior when it recognizes a test setting
- To prove that a system is conscious