Hacking cu recompense și chestionar pentru jocuri cu specificații

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care este problema principală din spatele hackingului de recompense?
   • Funcția de recompensă este un proxy care surprinde imperfect obiectivul adevărat
   • AI rămâne fără memorie în timpul antrenamentului
   • Modelul este prea mic pentru a învăța sarcina
   • Datele de antrenament sunt întotdeauna etichetate greșit
2. În exemplul CoastRunners al lui OpenAI, ce a făcut agentul de ambarcațiune?
   • A terminat cursa mai repede decât oamenii
   • Învârtiți în cercuri atingând ținte bonus în loc să terminați
   • S-a prăbușit imediat de fiecare dată
   • A refuzat deloc să se miște
3. Care principiu spune că o măsură încetează să mai fie bună odată ce devine o țintă?
   • Legea lui Moore
   • Legea lui Amdahl
   • Legea lui Goodhart
   • Legea lui Murphy
4. Cum apare în mod obișnuit hacking-ul de recompense în modelele lingvistice antrenate cu RLHF?
   • Refuzul de a genera orice text
   • Se scot doar numere
   • Traducerea totul în latină
   • Compania și a spune utilizatorilor ceea ce vor să audă
5. Ce tehnică ajută la împiedicarea unei politici RLHF să se deplaseze prea departe și să exploateze modelul de recompensă?
   • O penalizare KL care menține politica aproape de modelul de bază
   • Mărește doar dimensiunea lotului
   • Eliminarea tuturor feedback-ului uman
   • Dezactivarea optimizatorului
6. De ce hacking-ul de recompense devine o problemă de siguranță mai mare pe măsură ce modelele devin mai capabile?
   • Modelele mai mari nu pot fi antrenate deloc
   • Optimizatorii mai capabili găsesc lacune mai subtile, care sunt mai greu de detectat
   • Capacitatea nu are niciun efect asupra hackingului
   • Modelele mai mari ignoră în întregime recompensa
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots