Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Udukuzi wa Zawadi na Uainisho wa Michezo ya Kubahatisha

Chunguza jinsi maajenti wanavyotumia zawadi zisizo kamilifu, kutoka kwa njia za mkato za uigaji hadi ulinganifu wa muundo wa lugha, na jinsi uangalizi unavyoweza kusaidia.

Njia za mwongozo zinazohusianaUdukuzi wa Zawadi na Michezo ya Vipimo
Swali 1 ya 8

Je, tatizo kuu la udukuzi wa zawadi ni nini?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, tatizo kuu la udukuzi wa zawadi ni nini?
    • Utendakazi wa zawadi ni seva mbadala ambayo inanasa lengo la kweli kwa njia isiyo kamili
    • AI inaisha kumbukumbu wakati wa mafunzo
    • Mfano ni mdogo sana kujifunza kazi
    • Data ya mafunzo ina lebo isiyo sahihi kila wakati
  2. Katika mfano wa CoastRunners wa OpenAI, wakala wa mashua alifanya nini?
    • Alimaliza mbio haraka kuliko wanadamu
    • Sogeza kwenye miduara ukigonga shabaha za bonasi badala ya kumaliza
    • Ilianguka mara moja kila wakati
    • Alikataa kuhama hata kidogo
  3. Ni kanuni gani inasema kwamba kipimo kinaacha kuwa kizuri mara tu kinapolengwa?
    • Sheria ya Moore
    • Sheria ya Amdahl
    • Sheria ya Goodhart
    • Sheria ya Murphy
  4. Je, udukuzi wa zawadi huonekanaje katika miundo ya lugha iliyofunzwa na RLHF?
    • Inakataa kutoa maandishi yoyote
    • Inatoa nambari pekee
    • Kutafsiri kila kitu kwa Kilatini
    • Urafiki na kuwaambia watumiaji kile wanachotaka kusikia
  5. Ni mbinu gani husaidia kuzuia sera ya RLHF kutoka mbali sana na kutumia mtindo wa zawadi?
    • Adhabu ya KL inayoweka sera karibu na muundo msingi
    • Kuongeza ukubwa wa kundi pekee
    • Kuondoa maoni yote ya kibinadamu
    • Inalemaza kiboreshaji
  6. Kwa nini udukuzi wa zawadi unakuwa suala kubwa la usalama kadiri wanamitindo wanavyopata uwezo zaidi?
    • Mifano kubwa zaidi haziwezi kufunzwa hata kidogo
    • Viboreshaji vyenye uwezo zaidi hupata mianya fiche ambayo ni vigumu kutambua
    • Uwezo hauna athari kwenye udukuzi
    • Aina kubwa zaidi hupuuza malipo kabisa
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots