مسابقة إنشاء اختبار الذكاء الاصطناعي

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي "مشكلة أوراكل" في إنشاء اختبار الذكاء الاصطناعي؟
   • معرفة المخرجات المتوقعة الصحيحة لمدخل معين
   • توليد مدخلات عشوائية كافية لتشغيل البرنامج
   • ربط عداء الاختبار بقاعدة البيانات
   • اختيار لغة البرمجة التي سيتم الاختبار بها
2. ما الذي يقفله "اختبار التوصيف"؟
   • أسرع وقت تشغيل ممكن
   • السلوك الحالي للتعليمة البرمجية كخط أساس للانحدار
   • أسلوب ترميز المؤلف الأصلي
   • دليل رياضي رسمي على الصحة
3. What programming language did the TestPilot study implement and evaluate its LLM test-generation approach for?
   • الصدأ
   • Fortran
   • JavaScript
   • SQL only
4. يتمثل الخطر الرئيسي لقبول الاختبارات التي يتم إنشاؤها بواسطة الذكاء الاصطناعي دون مراجعة في أنها قد:
   • اركض ببطء شديد بحيث لا يكون مفيدًا
   • حذف كود المصدر تلقائيا
   • العمل فقط في عطلات نهاية الأسبوع
   • تأكيد وتجميد الأخطاء الموجودة كما لو كانت صحيحة
5. كيف يقوم مساعدو الاختبار المعتمدون على LLM مثل Copilot عادةً بإنتاج اختبار؟
   • من خلال التنبؤ برمز الاختبار من الوظيفة والسياق المحيط
   • من خلال إثبات صحة الكود رسميًا
   • عن طريق قياس درجة حرارة وحدة المعالجة المركزية
   • من خلال تسجيل شاشة المطور
6. يقوم التشويش الموجه بالتغطية بتوجيه المدخلات العشوائية باستخدام:
   • تصنيفات النجوم المستخدم
   • أدوات التعليمات البرمجية التي تقيس الفروع التي تم ضربها
   • مرحلة القمر
   • اسم الملف فقط
7. What did the TestPilot evaluation report as its median statement and branch coverage?
   • 100% statement and branch coverage on every package
   • 0% statement coverage and 52.8% branch coverage
   • 70.2% statement coverage and 52.8% branch coverage across its studied packages
   • The paper did not measure code coverage
8. What does mutation testing assess about a test suite?
   • Whether every test uses the same name
   • Whether a characterization test preserves all current behavior
   • Whether the fuzzer can reach a branch without running tests
   • Whether tests detect small, deliberate changes made to the program