اختبار معايرة الثقة بالذكاء الاصطناعي

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ماذا تصف المعايرة الإحصائية؟
   • ما إذا كان المستخدمون يحبون الواجهة
   • ما إذا كان النموذج يرتب كل مثال بشكل صحيح
   • كم مرة يشرح النموذج نفسه
   • ما إذا كانت الاحتمالات المتوقعة تتطابق مع الترددات المرصودة عبر الحالات المماثلة
2. هل يمكن للنموذج الذي تمت معايرته إحصائيًا أن يظل أداؤه ضعيفًا؟
   • لا، المعايرة تضمن دقة عالية
   • نعم فعلا؛ المعايرة وجودة المهمة خصائص مختلفة
   • فقط إذا كان المستخدمون لا يثقون به
   • لا، إذا ظهرت ثقتها
3. ما الذي تثبته عبارة العارضة الشفهية "أنا متأكد بنسبة 95%"؟
   • فقط أنها أنتجت تلك الكلمات؛ الثقة تحتاج إلى تقييم تجريبي
   • أن يتم معايرة إنتاجها
   • أن يكون مصدر الدليل صحيحاً
   • أن لا يراجعه الإنسان
4. تتم معايرة النموذج على مجموعة بيانات واحدة. ما الذي يبقى غير مؤكد بعد تغيير المجال؟
   • ما إذا كانت درجة الاختبار القديمة موجودة أم لا
   • ما إذا كان كافة المستخدمين يتفقون مع النظام
   • ما إذا كانت المعايرة لا تزال قائمة في ظل تغيير اللغة أو المجال أو المهمة
   • ما إذا كان يمكن الوصول إلى لون الواجهة
5. ما هي ميزة الواجهة التي يمكنها دعم الفحص المستقل؟
   • استخدم شارة الثقة المزخرفة بدون قياس
   • اعرض المصادر والقيود ذات الصلة بجانب الإجابة
   • قم بإخفاء المصدر لتقليل الفوضى
   • اذكر أن النموذج موثوق به دائمًا
6. كيف ينبغي للفرق تقييم ثقة الإنسان في النظام؟
   • قياس ما إذا كان المستخدمون ينقرون على "قبول" فقط
   • افترض أن التفسيرات تعمل دائمًا على تحسين الثقة
   • عد الكلمات الواثقة للنموذج
   • اختبر ما إذا كان الأشخاص يلاحظون الأخطاء ويستخدمون التجاوزات بشكل مناسب
7. لماذا نميز الدقة عن المعايرة؟
   • الدقة والمعايرة مترادفتان
   • المعايرة تقيس زمن الوصول فقط
   • قد يقوم النموذج بترتيب الحالات بشكل صحيح بينما تكون احتمالاته مرتفعة أو منخفضة بشكل منهجي
   • لا يمكن أن تكون النتيجة المعايرة خاطئة
8. ماذا يجب أن يحدث عندما تتغير المعايرة المقاسة بمرور الوقت؟
   • قم بتحديث إرشادات المستخدم واحتفظ بمسار للإبلاغ عن الأخطاء أو أكمل المهمة بطريقة أخرى
   • اترك الواجهة دون تغيير إلى أجل غير مسمى
   • إزالة كافة المصادر
   • عرض قيمة ثقة أكثر دقة