تقييمات LLM

قيم النظام الذي يستلمه المستخدمون فعليا. قد يتصرف نموذج مع استرجاع وأدوات وطلب معين بشكل مختلف عن نفس النموذج الذي تم اختباره بمفرده. حافظ على هذه الإعدادات مع سجل التقييم، بما في ذلك حدود استدعاءات الأدوات وإعادة التكرار. اجمع بين الفحوصات الحتمية والأحكام التي تتطلب تفسيرا. المطابقة الدقيقة تعمل لبعض الحقول المستخرجة أو الاختبارات التنفيذية، بينما قد يحتاج الملخص إلى معيار للأدلة والسهو. اكتب المعيار بحيث يمكن للمراجعين المختلفين تطبيقه باستمرار، وفحص الخلافات. يمكن للنموذج أن يساعد في التصحيح، لكن حكمه هو عملية قياس أخرى مع تحيزات محتملة. قارنه مع أمثلة تمت مراجعتها بشكل مستقل، وغير ترتيب الإجابات حيثما كان ذلك مناسبا، وتحقق مما إذا كان يكافئ الإطالة أو الأسلوب أكثر من الصواب. لا تعامل موافقة نموذج على آخر كدليل مستقل. أدرج أسئلة لا يمكن الإجابة عليها، ومصادر متضاربة، وحالات سياقة طويلة، وتعليمات خبيثة في المواد المسترجعة عندما تكون هذه ذات صلة. أبلغ عن النتائج حسب المهمة وشدة الخطأ. احتفظ بالأمثلة الفاشلة كحالات انحدار مع تحديث المواد المحتجزة حتى لا يصبح التقييم هدفا محفوظا.