एआई बेंचमार्क

एक स्कोर उन परिस्थितियों में प्रदर्शन का वर्णन करता है। यह बुद्धिमत्ता का सार्वभौमिक माप या गारंटी नहीं है कि उच्चतम स्कोरिंग प्रणाली किसी विशेष एप्लिकेशन के लिए सर्वोत्तम है।

चाबी छीन लेना

• कार्य और स्कोरिंग नियम पढ़ें.
• समकक्ष सेटिंग्स की तुलना करें.
• सार्वजनिक बेंचमार्क के साथ-साथ एप्लिकेशन मूल्यांकन का उपयोग करें।

रैंकिंग से पहले कार्य परिभाषा पढ़ें. एक बहुविकल्पीय ज्ञान परीक्षण, एक कोडिंग अभ्यास और एक मानव-वरीयता तुलना विभिन्न परिणामों को मापती है। यहां तक ​​कि सटीकता कहे जाने वाले दो स्कोर भी अलग-अलग उत्तर नियमों या उपसमूहों का उपयोग कर सकते हैं। मॉडल संस्करण, संकेत, उपकरण, पुनर्प्राप्ति पहुंच, प्रयासों की संख्या और मूल्यांकन तिथि की जांच करें। एक सिस्टम जिसे कई परीक्षणों की अनुमति है या एक बाहरी खोज उपकरण का परीक्षण एक ही बिना सहायता प्राप्त प्रतिक्रिया के समान शर्तों के तहत नहीं किया जा रहा है। परिणाम पुन: प्रस्तुत करते समय संपूर्ण सेटअप रिकॉर्ड करें। जब विकास के दौरान परीक्षण सामग्री या करीबी वेरिएंट उपलब्ध थे तो डेटासेट संदूषण एक बेंचमार्क को कमजोर कर सकता है। सार्वजनिक परीक्षण के विरुद्ध बार-बार अनुकूलन भी तुलना की स्वतंत्रता को सीमित करता है। ताजा, रुके हुए एप्लिकेशन उदाहरण यह आकलन करने में मदद करते हैं कि रिपोर्ट की गई क्षमता स्थानांतरित होती है या नहीं। अनिश्चितता और उपसमूह परिणाम देखें। एक छोटे से नमूने पर छोटा अंतर सार्थक नहीं हो सकता है। कार्य की सफलता के साथ-साथ लागत और विलंबता की तुलना करें और विफलता के उदाहरणों का निरीक्षण करें। स्पष्ट रूप से बताई गई सीमाओं के साथ किसी विशिष्ट क्षमता के दावे के लिए साक्ष्य के रूप में एक बेंचमार्क सबसे उपयोगी है।

1. निर्मित 100-प्रश्नों की परीक्षा में, सिस्टम ए 81 का सही उत्तर देता है और सिस्टम बी 83 का सही उत्तर देता है।
2. सूचीबद्ध करें कि कौन से प्रश्न भिन्न हैं और दस्तावेज़ीकृत पीढ़ी सेटिंग्स के अंतर्गत दोहराएँ। अकेले दो-बिंदु का अंतर एक विश्वसनीय लाभ स्थापित नहीं करता है।
3. परिनियोजन के लिए सिस्टम का चयन करने से पहले विफलता की गंभीरता और परिचालन लागत की तुलना करें।

ये आविष्कृत परिणाम दर्शाते हैं कि रैंकिंग के साथ क्या होना चाहिए; वे वास्तविक मॉडलों के बारे में कोई दावा नहीं हैं।