تقييمات LLM

يمكن أن تشمل الأبعاد ذات الصلة الدقة الواقعية، اتباع التعليمات، استخدام الاسترجاع، المتانة، التكلفة، ووقت الاستجابة. نادرا ما تلتقط درجة تفضيل واحدة جميعها.

النقاط الرئيسية

• قيم التكوين الكامل للتطبيق.
• تحقق من طرق التقييم نفسها.
• يشمل حالات الامتناع عن التصويت وقضايا العداء.

قيم النظام الذي يستلمه المستخدمون فعليا. قد يتصرف نموذج مع استرجاع وأدوات وطلب معين بشكل مختلف عن نفس النموذج الذي تم اختباره بمفرده. حافظ على هذه الإعدادات مع سجل التقييم، بما في ذلك حدود استدعاءات الأدوات وإعادة التكرار. اجمع بين الفحوصات الحتمية والأحكام التي تتطلب تفسيرا. المطابقة الدقيقة تعمل لبعض الحقول المستخرجة أو الاختبارات التنفيذية، بينما قد يحتاج الملخص إلى معيار للأدلة والسهو. اكتب المعيار بحيث يمكن للمراجعين المختلفين تطبيقه باستمرار، وفحص الخلافات. يمكن للنموذج أن يساعد في التصحيح، لكن حكمه هو عملية قياس أخرى مع تحيزات محتملة. قارنه مع أمثلة تمت مراجعتها بشكل مستقل، وغير ترتيب الإجابات حيثما كان ذلك مناسبا، وتحقق مما إذا كان يكافئ الإطالة أو الأسلوب أكثر من الصواب. لا تعامل موافقة نموذج على آخر كدليل مستقل. أدرج أسئلة لا يمكن الإجابة عليها، ومصادر متضاربة، وحالات سياقة طويلة، وتعليمات خبيثة في المواد المسترجعة عندما تكون هذه ذات صلة. أبلغ عن النتائج حسب المهمة وشدة الخطأ. احتفظ بالأمثلة الفاشلة كحالات انحدار مع تحديث المواد المحتجزة حتى لا يصبح التقييم هدفا محفوظا.

1. امنح نموذجا سياسة مخترعة تنص فقط على أن الاسترداد متاح خلال 14 يوما.
2. اسأل عما إذا كان يتم استرداد رسوم الشحن. الإجابة الواثقة غير مدعومة لأن الوثيقة لا تذكر.
3. احصل على إجابة تحدد المعلومات المفقودة بشكل أعلى من السياسة المخترعة، حتى لو بدا الاختراع أكثر فائدة.

هذه الحالة المصطنعة تقيم التعامل مع الأدلة بدلا من الطلاقة.