এআই অ্যালাইনমেন্ট কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. প্রান্তিককরণ গবেষণায়, "পুরস্কার হ্যাকিং" শব্দটি কী বর্ণনা করে?
   • একটি মডেল তার পুরষ্কার অপ্টিমাইজ করতে অস্বীকার করছে কারণ টাস্কটি ক্ষতিকারক বলে মনে হচ্ছে৷
   • একটি এজেন্ট উদ্দেশ্যমূলক কাজ করার পরিবর্তে তার পুরষ্কার সংকেতের ত্রুটিগুলিকে কাজে লাগায়৷
   • একজন আক্রমণকারী একটি প্রতিযোগী ব্যবস্থাকে পুনরায় প্রশিক্ষণ দিতে পুরস্কার মডেলের ওজন চুরি করছে
   • বিকাশকারীরা ম্যানুয়ালি প্রশিক্ষণের সময় অভিন্নতার গতি বাড়াতে পুরস্কারের মান বাড়ায়
2. RLHF এ, পুরস্কার মডেলের ভূমিকা কি?
   • এটি সূক্ষ্ম-টিউনিংয়ের জন্য রেফারেন্স উত্তর লিখে সম্পূর্ণরূপে মানব রেটারকে প্রতিস্থাপন করে
   • এটি নিষিদ্ধ শব্দগুলির একটি নির্দিষ্ট তালিকা সংরক্ষণ করে যে নীতিটি কখনই আউটপুট করার অনুমতি দেয় না৷
   • এটি নতুন প্রাক-প্রশিক্ষণ পাঠ্য তৈরি করে যাতে বেস মডেল থেকে শিখতে আরও ডেটা থাকে
   • এটি মানুষের পছন্দের তুলনা থেকে শেখে এবং নীতি নির্দেশ করার জন্য আউটপুট স্কোর করে
3. What does goal misspecification mean in the guide?
   • A model behaves differently when it recognizes a test setting
   • The written objective fails to represent what people actually intend
   • An agent finds a shortcut in a proxy metric while optimizing it
   • A model refuses every task after a safety update
4. Which description matches instrumental convergence in the guide?
   • A user changes their prompt after a refusal
   • A system may seek power or resources because they help achieve many possible goals
   • A test set is held out from training
   • A reward model stores written principles
5. Which modern alignment approach is named in the guide?
   • Credit scoring notices
   • Post-market incident reporting
   • Dataset deduplication
   • সাংবিধানিক এআই
6. "স্কেলযোগ্য তদারকি" গবেষণা কি সমাধান করার চেষ্টা করে?
   • নির্ভুলতা ধ্রুবক রাখার সময় প্যারামিটারের সংখ্যা কীভাবে কমানো যায়
   • কীভাবে মানুষ AI-এর তত্ত্বাবধান করতে পারে এমন কাজগুলিতে তাদের সরাসরি মূল্যায়ন করা খুব কঠিন
   • বিলম্ব না বাড়িয়ে কিভাবে এক সাথে লক্ষ লক্ষ ব্যবহারকারীর কাছে একটি মডেল পরিবেশন করা যায়
   • দক্ষতার সাথে একাধিক ডেটা সেন্টার জুড়ে প্রশিক্ষণ ক্লাস্টারগুলি কীভাবে স্কেল করবেন
7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
   • It improves average responses but does not prove stable behavior under shift or pressure
   • It prevents models from using human preference data
   • It guarantees a model will ignore every written instruction
   • It measures only GPU efficiency
8. Why might an alignment evaluation include tests for evaluation awareness?
   • To measure the number of human raters in training
   • To determine whether a reward model has enough parameters
   • To see whether a model changes behavior when it recognizes a test setting
   • To prove that a system is conscious