রিওয়ার্ড হ্যাকিং এবং স্পেসিফিকেশন গেমিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. পুরস্কার হ্যাকিং এর পিছনে মূল সমস্যা কি?
   • পুরষ্কার ফাংশন একটি প্রক্সি যা অপূর্ণভাবে সত্যিকারের লক্ষ্য ক্যাপচার করে
   • প্রশিক্ষণের সময় AI এর মেমরি ফুরিয়ে যায়
   • মডেল টাস্ক শেখার জন্য খুব ছোট
   • প্রশিক্ষণ তথ্য সবসময় ভুল লেবেল করা হয়
2. OpenAI এর CoastRunners উদাহরণে, বোট এজেন্ট কি করেছে?
   • মানুষের চেয়ে দ্রুত দৌড় শেষ করেছে
   • শেষ করার পরিবর্তে বোনাস লক্ষ্যগুলিকে আঘাত করে চেনাশোনাগুলিতে কাটান৷
   • প্রতিবারই অবিলম্বে বিধ্বস্ত হয়
   • কিছুতেই নড়াচড়া করতে রাজি হননি
3. কোন নীতিটি বলে যে একটি পরিমাপ একবার লক্ষ্য হয়ে গেলে ভাল হওয়া বন্ধ হয়ে যায়?
   • মুরের আইন
   • আমদাহলের আইন
   • গুডহার্টের আইন
   • মারফির আইন
4. কিভাবে পুরস্কার হ্যাকিং সাধারণত RLHF এর সাথে প্রশিক্ষিত ভাষার মডেলগুলিতে প্রদর্শিত হয়?
   • কোন টেক্সট জেনারেট করতে অস্বীকার
   • শুধুমাত্র আউটপুট সংখ্যা
   • সবকিছু ল্যাটিন ভাষায় অনুবাদ করা হচ্ছে
   • ছদ্মবেশী এবং ব্যবহারকারীরা যা শুনতে চায় তা বলছে
5. কোন কৌশলটি একটি RLHF নীতিকে খুব বেশি দূরে যেতে এবং পুরস্কারের মডেলকে কাজে লাগাতে সাহায্য করে?
   • একটি KL জরিমানা নীতি বেস মডেলের কাছাকাছি রাখা
   • শুধুমাত্র ব্যাচ আকার বৃদ্ধি
   • সমস্ত মানুষের প্রতিক্রিয়া অপসারণ
   • অপ্টিমাইজার নিষ্ক্রিয় করা হচ্ছে
6. মডেলগুলি আরও সক্ষম হওয়ার সাথে সাথে কেন পুরস্কার হ্যাকিং একটি বড় নিরাপত্তা উদ্বেগ হয়ে ওঠে?
   • বড় মডেলদের মোটেই প্রশিক্ষণ দেওয়া যায় না
   • আরও সক্ষম অপ্টিমাইজাররা সূক্ষ্ম ত্রুটি খুঁজে পায় যা সনাক্ত করা কঠিন
   • হ্যাকিং এর উপর ক্ষমতার কোন প্রভাব নেই
   • বড় মডেল সম্পূর্ণরূপে পুরস্কার উপেক্ষা
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots