تعزيز التعلم من خلال اختبار ردود الفعل البشرية

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هو الغرض الرئيسي من RLHF لنموذج اللغة؟
   • - مواءمة مخرجاتها مع التفضيلات البشرية للمساعدة والسلامة
   • لزيادة عدد معلمات النموذج
   • لضغط النموذج لاستنتاج أسرع
   • لترجمة النموذج إلى لغات أخرى
2. ما الذي يتعلمه نموذج المكافأة في RLHF فعليًا؟
   • توليد الاستجابات النهائية للمستخدمين
   • ترجمة المطالبات إلى عملة المكافأة
   • قم بتعيين درجة عددية تعكس مدى تفضيل البشر لإجابة معينة
   • تحديد معدل التعلم للنموذج
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. كيف يتم جمع بيانات التفضيل عادةً لنموذج المكافأة؟
   • يكتب البشر إجابات جديدة تمامًا من الصفر
   • يقيّم النموذج ثقته بنفسه
   • يتم تعيين تسميات عشوائية تلقائيا
   • يقارن البشر استجابتين نموذجيتين لنفس الموجه ويختاران الأفضل
5. ما هي الميزة التي يقدمها DPO (التحسين المباشر للتفضيلات) مقارنة بخط أنابيب RLHF الكلاسيكي؟
   • لا يتطلب أي بيانات على الإطلاق
   • إنه يضمن أن النموذج لا يمكن أن يكون خاطئًا أبدًا
   • فهو يعمل على تحسين السياسة مباشرة من أزواج التفضيلات، متخطيًا نموذج المكافأة المنفصل وحلقة PPO
   • أنه يلغي الحاجة إلى التدريب المسبق
6. في RLAIF والذكاء الاصطناعي الدستوري، من أين يأتي الكثير من التعليقات؟
   • من نموذج الذكاء الاصطناعي الذي يولد الاستجابات أو ينتقدها، مما يقلل من التصنيف البشري
   • فقط من المفسرين البشريين المدفوعين
   • من مولدات الأرقام العشوائية
   • من مجموعة التدريب المسبق للنموذج مباشرةً
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression