Útmutatóhoz kapcsolódó kvíz · Kemény Szint

AI igazítási kvíz

Test reward hacking, RLHF limits, specification gaming, evaluation awareness, and how scalable oversight helps with hard-to-check tasks.

Kapcsolódó útmutató utakAI igazítás
kérdés 1 -ból 8

Mit ír le az igazodáskutatásban a "jutalmazó hacker" kifejezés?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit ír le az igazodáskutatásban a "jutalmazó hacker" kifejezés?
    • Egy modell, amely nem hajlandó optimalizálni jutalmát, mert a feladat károsnak tűnik
    • Egy ügynök kihasználja a jutalmazási jel hibáit, ahelyett, hogy elvégezné a tervezett feladatot
    • Egy támadó, aki ellopja a jutalommodell súlyait, hogy átképezzen egy versengő rendszert
    • A fejlesztők manuálisan emelik a jutalomértékeket, hogy felgyorsítsák a konvergenciát az edzés során
  2. Az RLHF-ben mi a jutalommodell szerepe?
    • Teljesen leváltja az emberi értékelőket azáltal, hogy megírja a referenciaválaszokat a finomhangoláshoz
    • Rögzített listát tárol a tiltott szavakról, amelyeket a házirend soha nem adhat ki
    • Új előtanítási szöveget hoz létre, így az alapmodellnek több adata van, amelyből tanulhat
    • Tanul az emberi preferenciák összehasonlításából, és pontozza a kimeneteket, hogy irányítsa a politikát
  3. What does goal misspecification mean in the guide?
    • A model behaves differently when it recognizes a test setting
    • The written objective fails to represent what people actually intend
    • An agent finds a shortcut in a proxy metric while optimizing it
    • A model refuses every task after a safety update
  4. Which description matches instrumental convergence in the guide?
    • A user changes their prompt after a refusal
    • A system may seek power or resources because they help achieve many possible goals
    • A test set is held out from training
    • A reward model stores written principles
  5. Which modern alignment approach is named in the guide?
    • Credit scoring notices
    • Post-market incident reporting
    • Dataset deduplication
    • Alkotmányos AI
  6. Mit próbál megoldani a "skálázható felügyeleti" kutatás?
    • Hogyan csökkenthető a paraméterek száma, miközben a pontosság állandó marad
    • Hogyan tudják az emberek felügyelni az MI-t olyan feladatokon, amelyek túl nehézkesek ahhoz, hogy közvetlenül értékeljék
    • Hogyan szolgálhatunk ki egy modellt egyszerre több millió felhasználónak a késleltetés növelése nélkül
    • Hogyan lehet hatékonyan skálázni a képzési fürtöket több adatközpontban
  7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
    • It improves average responses but does not prove stable behavior under shift or pressure
    • It prevents models from using human preference data
    • It guarantees a model will ignore every written instruction
    • It measures only GPU efficiency
  8. Why might an alignment evaluation include tests for evaluation awareness?
    • To measure the number of human raters in training
    • To determine whether a reward model has enough parameters
    • To see whether a model changes behavior when it recognizes a test setting
    • To prove that a system is conscious