اختبار مرتبط بالدليل · صعب المستوى
مسابقة محاذاة الذكاء الاصطناعي
اختبار اختراق المكافآت، وحدود RLHF، وألعاب المواصفات، والوعي بالتقييم، وكيف يساعد الإشراف القابل للتطوير في المهام التي يصعب التحقق منها.
سؤال 1 من 8
في بحث المحاذاة، ما الذي يصفه مصطلح "اختراق المكافأة"؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- في بحث المحاذاة، ما الذي يصفه مصطلح "اختراق المكافأة"؟
- نموذج يرفض تحسين مكافأته لأن المهمة تبدو ضارة
- وكيل يستغل العيوب في إشارة المكافأة الخاصة به بدلاً من القيام بالمهمة المقصودة
- مهاجم يسرق أوزان نموذج المكافأة لإعادة تدريب نظام منافس
- يقوم المطورون يدويًا برفع قيم المكافآت لتسريع التقارب أثناء التدريب
- في RLHF، ما هو دور نموذج المكافأة؟
- إنه يحل محل المُقيّمين البشريين تمامًا عن طريق كتابة الإجابات المرجعية للضبط الدقيق
- يقوم بتخزين قائمة ثابتة من الكلمات المحظورة التي لا يُسمح للسياسة بإخراجها أبدًا
- يقوم بإنشاء نص تدريب مسبق جديد بحيث يحتوي النموذج الأساسي على المزيد من البيانات للتعلم منها
- فهو يتعلم من مقارنات التفضيلات البشرية ويسجل النتائج لتوجيه السياسة
- What does goal misspecification mean in the guide?
- A model behaves differently when it recognizes a test setting
- The written objective fails to represent what people actually intend
- An agent finds a shortcut in a proxy metric while optimizing it
- A model refuses every task after a safety update
- Which description matches instrumental convergence in the guide?
- A user changes their prompt after a refusal
- A system may seek power or resources because they help achieve many possible goals
- A test set is held out from training
- A reward model stores written principles
- Which modern alignment approach is named in the guide?
- Credit scoring notices
- Post-market incident reporting
- Dataset deduplication
- الذكاء الاصطناعي الدستوري
- ما الذي تحاول أبحاث "الرقابة القابلة للتطوير" حله؟
- كيفية تقليل عدد المعلمات مع الحفاظ على الدقة ثابتة
- كيف يمكن للبشر الإشراف على الذكاء الاصطناعي في المهام التي يصعب عليهم تقييمها بشكل مباشر
- كيفية تقديم نموذج لملايين المستخدمين في وقت واحد دون زيادة زمن الوصول
- كيفية توسيع نطاق مجموعات التدريب عبر مراكز بيانات متعددة بكفاءة
- Why does preference optimization not prove that a model has adopted human intent as an internal goal?
- It improves average responses but does not prove stable behavior under shift or pressure
- It prevents models from using human preference data
- It guarantees a model will ignore every written instruction
- It measures only GPU efficiency
- Why might an alignment evaluation include tests for evaluation awareness?
- To measure the number of human raters in training
- To determine whether a reward model has enough parameters
- To see whether a model changes behavior when it recognizes a test setting
- To prove that a system is conscious