مسابقة الهلوسة لمنظمة العفو الدولية

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. لماذا يفشل التنبؤ بالرمز التالي وحده في التحقق من الادعاء الواقعي في الإجابة التي تم إنشاؤها؟
   • يرتبط كل نموذج بمواقع الويب غير الموثوقة فقط
   • يسأل جميع المستخدمين أسئلة غير صحيحة نحويًا
   • إن الاستمرار المعقول ليس بمثابة دليل على صحة العبارة
   • الإجابة بطلاقة تثبت الحقيقة تلقائيًا
2. لماذا الهلوسة خطيرة بشكل خاص؟
   • تتم كتابتها دائمًا بقواعد نحوية مكسورة بحيث يتجاهلها المستخدمون
   • تظهر فقط في رسائل الخطأ
   • إنهم يتسببون في تعطل النموذج
   • يتم تسليمها بطلاقة وثقة، لذلك من السهل تفويت الأخطاء
3. هل يقضي الجيل المعزز للاسترجاع (RAG) على الهلوسة تمامًا؟
   • نعم، تضمن RAG الإجابات الواقعية
   • لا، لا يزال بإمكان النماذج أن تتعارض أو تتجاهل النص المسترد المشوش أو المتضارب
   • نعم، ولكن فقط في عطلة نهاية الأسبوع
   • لا، لأن RAG لا تقدم أي مستندات أبدًا
4. ما هو المثال الحقيقي للهلوسة؟
   • النموذج نقلاً عن قضية قضائية غير موجودة
   • النموذج يرفض الإجابة على سؤال
   • النموذج يطرح سؤالا توضيحيا
   • يقوم النموذج بإرجاع استجابة فارغة
5. ما هو سير العمل الذي يمكن أن يساعد في التحقق من الإجابة الواقعية التي تم إنشاؤها؟
   • ثق بكل اقتباس لأنه يبدو رسميًا
   • تعامل مع درجة حرارة أخذ العينات المنخفضة كدليل على الصحة
   • قم بإخفاء الأدلة حتى تكون الإجابة أسهل في القراءة
   • قم باسترجاع المواد ذات الصلة وتحقق مما إذا كانت بياناتها واستشهاداتها تدعم المطالبات
6. كيف ينبغي تقييم الادعاء بأن النموذج الجديد قد قضى على الهلوسة؟
   • اقبله فقط لأن الإعلان يبدو واثقًا
   • لنفترض أن هناك مثالًا ناجحًا يثبت كل تطبيق
   • استخدم مهام وأدلة وشروط قياس محددة بدلاً من افتراض الموثوقية العالمية
   • احكم فقط على ما إذا كان النموذج ينتج نثرًا مصقولًا
7. تستشهد الإجابة التي تم إنشاؤها بصفحة حقيقية، لكن الصفحة لا تدعم البيان الواقعي المرتبط. ما الذي لم يتم التحقق منه بعد؟
   • دعم هذا الادعاء بالذات
   • ما إذا كان يمكن فتح عنوان URL
   • ما إذا كان النموذج يستخدم جملًا بطلاقة
   • ما إذا كان الاقتباس يحتوي على نص
8. يشير المستند المقدم إلى أن التسليم يستغرق خمسة أيام عمل، لكن ملخصه الذي تم إنشاؤه يقول يومين. أي فحص يكشف الخطأ؟
   • حساب عدد الجمل التي يحتوي عليها الملخص
   • مقارنة كمية الملخص بالوثيقة المصدر
   • التحقق فقط مما إذا كان النثر يبدو واثقًا
   • بافتراض أن الملخصات قد تحل محل أي رقم مصدر