تشير Tech Xplore إلى تحيز في العثور على المعايير في توصيات الخبراء عبر 22 ماجستيرًا في القانون

ماذا حدث

أفادت Tech Xplore عن LLMScholarBench، وهو معيار تم تطويره من قبل باحثين مرتبطين بـ Complexity Science Hub لتقييم مدى توصية النماذج اللغوية الكبيرة بالخبراء. يقول التقرير إن المعيار اختبر 22 نموذجًا عبر مقاييس الجودة الفنية والتمثيل الاجتماعي، ووجد أن التوصيات غالبًا ما تفضل العلماء الذين يتم الاستشهاد بهم بشكل كبير، وكبار السن، والذكور، والمقيمين في الولايات المتحدة، والبيض. أدى الجيل المعزز من الاسترجاع إلى تحسين دقة الحقائق، في حين أن الحث يمكن أن يوجه عملية التمثيل، لكن الهدفين ظلا في حالة توتر.

تم الإبلاغ عن Tech Xplore على LLMScholarBench، الذي طوره باحثون مرتبطون بـ Complexity Science Hub لاختبار توصيات الخبراء من 22 نموذجًا: 20 نموذجًا مفتوح الوزن ونموذجين خاصين من عائلات تشمل Gemini وGPT وLlama وQwen وDeepSeek وGrok وMistral وGemma. وقد قامت بقياس خمسة مقاييس فنية - الدقة الواقعية، والاتساق، والصحة، والرفض، والتوصيات المكررة - وأربعة مقاييس اجتماعية: الترابط، والتشابه الببليومتري، والتنوع، والتكافؤ.

قام الباحثون أولاً بتقييم ستة نماذج ذات وزن مفتوح في خمس مهام توصية فيزيائية، بما في ذلك طلبات أفضل خمسة وأعلى 100 خبير مؤثر. وتضمنت قاعدة البيانات المرجعية أكثر من 450 ألف عالم نشروا في مجلات الجمعية الفيزيائية الأمريكية بين عامي 1893 و2020. وتقول شركة Tech Xplore إن النماذج سمت العلماء في قاعدة البيانات تلك في ما يقرب من 80% من التوصيات، في حين كان عدم التطابق بين المجال والأقدمية أكثر صعوبة؛ بلغ متوسط ​​حالات عدم التطابق بين الفيزياء والمجالات الفرعية حوالي 40% في الاختبار الأولي.

ويصف التقرير الانحرافات الديموغرافية والجغرافية. مثلت النساء ما بين 14% إلى 32% من الباحثين في السجل المرجعي، اعتمادًا على المجال الفرعي والفترة، لكن النماذج غالبًا ما أوصت بعدد أقل من النساء أو لا توصي بأي شيء. كان العلماء الآسيويون أكبر مجموعة ديموغرافية، ومع ذلك كان العلماء البيض ممثلين بشكل زائد في كثير من الأحيان بينما كان الباحثون السود واللاتينيون غائبين في كثير من الأحيان. ركزت التوصيات على العلماء الذين تم نشرهم واستشهادهم على نطاق واسع، وقامت النماذج الأصغر بتجميع التوصيات في عدد أقل من البلدان.

تقارير Tech Xplore درجات الواقعية من 0.63 إلى 0.82، ودرجات التنوع من 0.44 إلى 0.69، ودرجات التكافؤ من 54٪ إلى 60٪. كان DeepSeek وGemini من بين الأقوى من حيث الواقعية، وقادت DeepSeek من حيث التنوع، وقادت جيما من حيث التكافؤ. أظهرت أربعة تدخلات عبر النماذج الـ 22 أن الجيل المعزز للاسترجاع يعمل على تحسين الجودة التقنية، وخاصة الدقة، في حين تعمل الهندسة السريعة على تحسين التمثيل؛ والجمع بينهما لا يزال لم يحسن كل المقاييس في وقت واحد.

بحثت دراسة أخرى ما إذا كان الدور المحدد أو اللغة أو الموقع الجغرافي قد أدى إلى تغيير التوصيات عبر ستة تخصصات أكاديمية. الموقع أثر على النتائج، في حين أن اللغة والدور لم يؤثرا. يقال إن اختبارات نماذج Gemini 2.5 Pro وFlash الأحدث مع استرجاع الويب زادت من الدقة الواقعية ولكنها قللت من التنوع والتكافؤ. يقدم المصدر LLMScholarBench كأداة تدقيق مستمرة بدلاً من تصنيف نهائي، مع ملاحظة أنه ربما تم تحديث بعض النماذج منذ البحث.

تفاصيل المصدر: techxplore.com ↗

لماذا يهم

يتم استخدام أنظمة الذكاء الاصطناعي بشكل متزايد للعثور على الأشخاص للحصول على فرص مهنية، بما في ذلك الباحثين والأطباء والمحامين. إذا كانت التوصيات تحابي بشكل متكرر الأشخاص الذين يتمتعون بمكانة بارزة بالفعل، فيمكن للأنظمة تضييق نطاق الوصول إلى الفرص مع تقديم مخرجاتهم على أنها محايدة. وتُظهر النتائج أيضًا لماذا تعتبر الدقة وحدها مقياسًا غير مكتمل لأنظمة التوصية: يمكن أن تحتوي القائمة على خبراء حقيقيين، ولكنها لا تزال تعيد إنتاج أو تكثيف الاختلالات الديموغرافية والجغرافية.

يمكن أن تكون توصية الخبراء بمثابة خطوة حراسة: فقد يجد منظمو المؤتمر متحدثين رئيسيين، وقد يقوم أصحاب العمل بتجميع مجموعات من المرشحين، وقد يبحث المرضى عن الأطباء من خلال LLM. تشير تقارير Tech Xplore إلى أن الباحثين يرون هذه المخاطر خارج نطاق الأوساط الأكاديمية. يمكن أن تؤدي تسمية الأشخاص البارزين بشكل متكرر إلى توجيه الاهتمام والفرص نحو نفس المجموعة مع ترك الأشخاص المؤهلين الأقل ظهورًا غير مكتشفين.

وتفصل النتائج بين الواقعية والعدالة. قد تكون التوصية صحيحة من الناحية الواقعية لأن الشخص موجود ويعمل في هذا المجال، ولكنها غير متوازنة اجتماعيًا إذا استبعدت المجموعات الموجودة في الفئة المهنية ذات الصلة. إن التمييز في التقرير بين الجودة الفنية والتمثيل الاجتماعي يوفر إطارًا أكثر فائدة من التحقق فقط مما إذا كانت الأسماء حقيقية أو ما إذا كانت الاستشهادات متاحة.

تؤدي نتائج التدخل إلى تعقيد الافتراض بأن بحث الويب يحل تحيز التوصية. تقول شركة Tech Xplore إن الاسترجاع أدى إلى تحسين الدقة الواقعية، لكن في اختبارات النماذج الأحدث الخاصة، قللت من التنوع والتكافؤ. يعزو الباحثون هذا الخطر إلى نقص التمثيل على شبكة الإنترنت؛ يقدم المصدر هذا على أنه تفسيرهم، وليس نتيجة سببية ثابتة بشكل مستقل. وبالتالي فإن تأريض النظام خارجيًا لا يجعل معلوماته ممثلة تلقائيًا.

التأثير الجغرافي مهم للمستخدمين الدوليين. إذا تغير الموقع الذي يوصي به العلماء، فقد يقوم النظام بتشفير الافتراضات حول الأهمية المحلية أو الرؤية بدلاً من الخبرة وحدها. يقول المصدر إن اللغة والدور لم يغيرا النتائج في الاختبارات المبلغ عنها، لكن هذا لا يظهر أنهما لا يهمان أبدًا في التخصصات أو اللغات أو النماذج الأخرى. وتنطبق النتيجة على الظروف التي تم اختبارها في الدراسة.

ولا يثبت المصدر أن أي عارضة أزياء تسببت في خسارة شخص ما لوظيفة أو دعوة أو فرصة. كما أنها تفتقر إلى التفاصيل المنهجية الكافية لتحديد التعيينات الديموغرافية، أو عدد مرات التشغيل خلف كل درجة، أو حسابات عدم اليقين. يمكن أن تختلف النتائج باختلاف المطالبات وإصدارات النماذج ومصادر الاسترجاع وأخذ العينات. وبالتالي فإن القيمة العامة للعمل تكشف عن مخاطر قابلة للقياس وتقترح هيكل تدقيق قابل للتكرار، ولا تثبت أن كل عملية نشر تتصرف بشكل متماثل.

ماذا تشاهد بعد ذلك

يستشهد المصدر بمنشور ACM SIGKDD لعام 2026 ودراستين arXiv، ولكن لم تتم مراجعة هذه المواد الأولية بشكل مستقل هنا. وتشمل الأسئلة المفتوحة المهمة كيف تختلف النتائج مع المطالبات، وأخذ العينات، وتحديثات النماذج، وأساليب التصنيف الديموغرافي، وما إذا كان المعيار يتنبأ بالنتائج في التوظيف الحقيقي، أو القبول، أو أنظمة اختيار المؤتمرات. يجب أن تختبر التقييمات المستقبلية ما إذا كانت البيانات المرجعية الأوسع والمراجعة البشرية المنظمة يمكن أن تحسن الواقعية والتمثيل معًا.

إن الفحص المستقل للأبحاث الأولية المذكورة هو الأولوية الأولى. تحدد Tech Xplore ورقة ACM SIGKDD لعام 2026 حول التدقيق المعياري والمعتمد على التدخل، بالإضافة إلى أوراق arXiv حول التدقيق الأولي وتأثيرات تحفيز الشخصية. ويجب أن توضح هذه المواد المطالبات، والإصدارات النموذجية، وعدد التجارب، وعدم اليقين الإحصائي، وإجراءات وضع العلامات الديموغرافية، والمجموعات السكانية المرجعية، وحالات الرفض، والتكرارات. ولا ينبغي استنتاج هذه التفاصيل من التقرير الثانوي وحده.

يجب على الباحثين والناشرين اختبار ما إذا كانت نتائج LLMScholarBench تمتد إلى ما هو أبعد من الفيزياء والتخصصات الستة الموصوفة. قد لا تمثل سجلات نشر APS مجالات ذات أنماط نشر مختلفة أو هياكل جغرافية أو بيانات ديموغرافية مختلفة، وقد تفوت الخبرة الموثقة خارج النشر الأكاديمي. إن اختبار الطب والقانون والهندسة والخدمة العامة والمهن الماهرة من شأنه أن يُظهر ما إذا كان الخطر ينطبق على البيئات التي يستخدم فيها الأشخاص بالفعل توصيات الذكاء الاصطناعي.

تتطلب تحديثات النموذج ومصادر الاسترجاع مراقبة مستمرة. يقول التقرير أن بعض النماذج التي تم تقييمها قد تغيرت ويصف اختبارات Gemini الأحدث مع استرجاع الويب والتي أنتجت توازنًا مختلفًا للنتائج. يمكن أن تصبح جولة واحدة قديمة. يجب أن تقوم المتابعة بمقارنة الإصدارات مع مرور الوقت، وتوثيق مصادر الويب المستردة، وقياس ما إذا كانت التغييرات تعمل على تحسين الدقة والتمثيل معًا بدلاً من تحويل الأداء بين الأبعاد.

يجب على المنظمات التي تستخدم الذكاء الاصطناعي للتوصية بالأشخاص أن تطلب معايير شفافة ومراجعة بشرية وطريقة يتم من خلالها أخذ الأفراد المؤهلين في الاعتبار عند حذفهم. يجب عليهم تسجيل المطالبة وإصدار النموذج وإعدادات الاسترجاع والمخرجات وتقييم ما إذا كانت الأسماء حقيقية أم لا. ولم يذكر المصدر أي متطلبات تنظيمية أو استجابة مؤكدة للصناعة، لذا فهذه ضمانات عملية تقترحها المخاطر، وليست تدابير تم اعتمادها بالفعل بسبب المؤشر المرجعي.

ويظل من دون حل ما إذا كانت البيانات الأكثر تمثيلاً يمكنها التغلب على المفاضلة المبلغ عنها. تقول Tech Xplore إن الفريق يخطط لبناء قاعدة معرفية علمية أوسع، لكنه لا يقدم أي دليل على اكتمالها أو تحسين الأداء المعياري. وينبغي أن تظهر النتائج المستقبلية مكاسب قابلة للتكرار في الواقعية والتنوع والتكافؤ، بالإضافة إلى المثابرة في مهام التوصية الواقعية دون مجرد تحسين المعيار.

الأدلة والاختبارات ذات الصلة