معايير الذكاء الاصطناعي

اقرأ تعريف المهمة قبل التصنيف. ويقيس اختبار المعرفة متعدد الاختيارات، وتمرين الترميز، ومقارنة التفضيلات البشرية، نتائج مختلفة. حتى درجتين تسمى الدقة يمكن أن تستخدما قواعد إجابة أو مجموعات فرعية مختلفة. تحقق من إصدار النموذج والموجه والأدوات والوصول إلى الاسترجاع وعدد المحاولات وتاريخ التقييم. يسمح النظام بعدة تجارب أو لا يتم اختبار أداة بحث خارجية تحت نفس الظروف مثل الاستجابة الفردية دون مساعدة. قم بتسجيل الإعداد الكامل عند إعادة إنتاج النتيجة. يمكن أن يؤدي تلوث مجموعة البيانات إلى إضعاف المعيار عند توفر مواد الاختبار أو المتغيرات القريبة أثناء التطوير. يؤدي التحسين المتكرر مقابل الاختبار العام أيضًا إلى تضييق نطاق استقلالية المقارنة. تساعد أمثلة التطبيقات الجديدة والمعلقة في تقييم ما إذا كانت القدرة المُبلغ عنها ستنتقل أم لا. ابحث عن عدم اليقين ونتائج المجموعة الفرعية. قد لا يكون للاختلاف البسيط في عينة صغيرة أي معنى. قارن التكلفة ووقت الاستجابة جنبًا إلى جنب مع نجاح المهمة، وافحص أمثلة الفشل. يعد المعيار المرجعي مفيدًا للغاية كدليل على مطالبة قدرة محددة ذات حدود واضحة.