Quiz połączony z przewodnikiem · Średni Poziom

Hakowanie nagród i quiz dotyczący specyfikacji gier

Dowiedz się, w jaki sposób agenci wykorzystują niedoskonałe nagrody — od skrótów symulacyjnych po pochlebstwa na podstawie modelu językowego — i dowiedz się, jak może pomóc nadzór.

Powiązane ścieżki prowadząceHakowanie nagród i gra w specyfikacje
Pytanie 1 z 8

Jaki jest główny problem hakowania nagród?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jaki jest główny problem hakowania nagród?
    • Funkcja nagrody jest wskaźnikiem zastępczym, który w niedoskonały sposób oddaje prawdziwy cel
    • Podczas treningu sztucznej inteligencji zabraknie pamięci
    • Model jest zbyt mały, aby nauczyć się zadania
    • Dane treningowe są zawsze błędnie oznaczone
  2. Co zrobił agent łodzi w przykładzie CoastRunners OpenAI?
    • Ukończył wyścig szybciej niż ludzie
    • Kręcił się w kółko, trafiając w dodatkowe cele, zamiast dokończyć
    • Za każdym razem natychmiast się zawieszał
    • W ogóle odmówił ruchu
  3. Która zasada stwierdza, że środek przestaje być dobry, gdy staje się celem?
    • Prawo Moore’a
    • Prawo Amdahla
    • Prawo Goodharta
    • Prawo Murphy'ego
  4. W jaki sposób hackowanie z nagrodami często pojawia się w modelach językowych trenowanych za pomocą RLHF?
    • Odmowa wygenerowania jakiegokolwiek tekstu
    • Tylko wypisywanie liczb
    • Przetłumaczę wszystko na łacinę
    • Pochlebstwo i mówienie użytkownikom tego, co chcą usłyszeć
  5. Która technika pomaga zapobiec zbytniemu dryfowaniu polityki RLHF i wykorzystywaniu modelu nagrody?
    • Kara KL za utrzymanie polisy w pobliżu modelu podstawowego
    • Tylko zwiększenie rozmiaru partii
    • Usuwanie wszystkich ludzkich opinii
    • Wyłączenie optymalizatora
  6. Dlaczego hakowanie z nagrodami staje się większym problemem związanym z bezpieczeństwem w miarę zwiększania się możliwości modeli?
    • Większych modeli w ogóle nie można trenować
    • Bardziej sprawni optymalizatorzy znajdują subtelniejsze luki, które są trudniejsze do wykrycia
    • Możliwość nie ma wpływu na hakowanie
    • Większe modele całkowicie ignorują nagrodę
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots