Test de aliniere AI

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. În cercetarea alinierii, ce descrie termenul „hacking recompensă”?
   • Un model care refuză să-și optimizeze recompensa pentru că sarcina pare dăunătoare
   • Un agent care exploatează defecte în semnalul său de recompensă în loc să îndeplinească sarcina intenționată
   • Un atacator care fură greutățile modelului de recompensă pentru a reanaliza un sistem concurent
   • Dezvoltatorii cresc manual valorile recompenselor pentru a accelera convergența în timpul antrenamentului
2. În RLHF, care este rolul modelului de recompensă?
   • Acesta înlocuiește în întregime evaluatorii umani prin scrierea răspunsurilor de referință pentru reglare fină
   • Stochează o listă fixă de cuvinte interzise pe care politica nu este niciodată permisă să le scoată
   • Acesta generează un nou text de preinstruire, astfel încât modelul de bază are mai multe date din care să învețe
   • Învață din comparațiile preferințelor umane și obțin scoruri pentru a ghida politica
3. What does goal misspecification mean in the guide?
   • A model behaves differently when it recognizes a test setting
   • The written objective fails to represent what people actually intend
   • An agent finds a shortcut in a proxy metric while optimizing it
   • A model refuses every task after a safety update
4. Which description matches instrumental convergence in the guide?
   • A user changes their prompt after a refusal
   • A system may seek power or resources because they help achieve many possible goals
   • A test set is held out from training
   • A reward model stores written principles
5. Which modern alignment approach is named in the guide?
   • Credit scoring notices
   • Post-market incident reporting
   • Dataset deduplication
   • AI constituțional
6. Ce încearcă să rezolve cercetarea „supraveghere scalabilă”?
   • Cum să reduceți numărul de parametri menținând constantă precizia
   • Modul în care oamenii pot supraveghea AI pe sarcini prea greu pentru a le evalua direct
   • Cum să serviți un model pentru milioane de utilizatori simultan, fără a crește latența
   • Cum să scalați eficient clusterele de antrenament în mai multe centre de date
7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
   • It improves average responses but does not prove stable behavior under shift or pressure
   • It prevents models from using human preference data
   • It guarantees a model will ignore every written instruction
   • It measures only GPU efficiency
8. Why might an alignment evaluation include tests for evaluation awareness?
   • To measure the number of human raters in training
   • To determine whether a reward model has enough parameters
   • To see whether a model changes behavior when it recognizes a test setting
   • To prove that a system is conscious