तकनीकी गाइड

एआई एजेंटों का मूल्यांकन

एआई एजेंटों का मूल्यांकन करने का मतलब यह मापना है कि एक बहु-चरण प्रणाली यथार्थवादी सेटिंग्स में लक्ष्यों तक कितनी अच्छी तरह पहुंचती है।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर4 मिनट पढ़ें
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. एआई एजेंटों के मूल्यांकन का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

इसमें शामिल है कि क्या उसने कार्य पूरा कर लिया, क्या उसने जो रास्ता अपनाया वह समझदारी भरा था, क्या उसने उपकरणों का सही उपयोग किया, उसकी लागत क्या थी और क्या वह सुरक्षित रहा। एजेंट कई चरणों में कार्य करते हैं और उनके दुष्प्रभाव होते हैं, इसलिए किसी संदर्भ के विरुद्ध एक ही उत्तर की जाँच करना पर्याप्त नहीं है, और अच्छे मूल्यांकन आमतौर पर एजेंट को नियंत्रित वातावरण के अंदर चलाते हैं और अंतिम स्थिति का निरीक्षण करते हैं।

गहरा गोता

एजेंट मूल्यांकन कई चीजों को देखता है। कार्य की सफलता पूछती है कि क्या लक्ष्य वास्तव में हासिल किया गया था, आदर्श रूप से बाद में पर्यावरण को देखकर जांच की जाती है: परीक्षण पास होते हैं, सही रिकॉर्ड मौजूद है, फ़ाइल में सही सामग्री है। प्रक्षेपवक्र गुणवत्ता पूछती है कि क्या कदम उचित थे, बिना लूप, व्यर्थ कॉल या भाग्यशाली अनुमान के। टूल-उपयोग की शुद्धता यह जांचती है कि एजेंट ने वैध तर्कों के साथ सही टूल चुना है या नहीं और त्रुटियों को संभाला है या नहीं। लागत और विलंबता ट्रैक टोकन, कॉल और दीवार-घड़ी का समय। सुरक्षा जांच करती है कि क्या एजेंट हानिकारक या अनधिकृत कार्यों से बचता है और शीघ्र इंजेक्शन का विरोध करता है। पर्यावरण-आधारित बेंचमार्क एक अग्रणी दृष्टिकोण बन गया है। प्रिंसटन शोधकर्ताओं की SWE-बेंच, एजेंटों से वास्तविक GitHub मुद्दों को हल करने के लिए कहती है और परियोजना के परीक्षणों के साथ परिणामों की जांच करती है, और SWE-बेंच सत्यापित एक मानव-जांच किया गया उपसमूह है। WebArena ब्राउज़िंग कार्यों के लिए स्व-होस्ट की गई वेबसाइटें प्रदान करता है। OSWorld पूर्ण कंप्यूटर डेस्कटॉप चलाने वाले एजेंटों का परीक्षण करता है। जीएआईए ऐसे प्रश्न प्रस्तुत करता है जिनके लिए बहु-चरणीय अनुसंधान और उपकरणों की आवश्यकता होती है। ताऊ-बेंच सुइट उपयोगकर्ताओं और डोमेन नीतियों का अनुकरण करता है, और इसने एक पास^के मीट्रिक पेश किया है जो पूछता है कि क्या कोई एजेंट बार-बार किए गए प्रत्येक प्रयास में सफल होता है। ग्रेडिंग तीन मुख्य प्रकार की जाँचों का उपयोग करती है: परिणामों पर कोड-आधारित जाँचें, जो सटीक और सस्ती होती हैं; मॉडल-आधारित ग्रेडर जो रूब्रिक के विरुद्ध प्रतिलेख स्कोर करते हैं, जो लचीले होते हैं लेकिन मानवीय निर्णय के विरुद्ध जांचने की आवश्यकता होती है; और मानवीय समीक्षा, जो सबसे भरोसेमंद और सबसे धीमी है। केवल सार्वजनिक लीडरबोर्ड पर भरोसा करना एक सामान्य गलती है। बेंचमार्क प्रशिक्षण डेटा में लीक हो सकते हैं, संतृप्त हो सकते हैं, या आपके स्वयं के कार्यभार से मेल खाने में विफल हो सकते हैं। एक और गलती एक रन को सत्य मानना ​​है, क्योंकि एजेंट गैर-नियतात्मक होते हैं और सफलता दर में छोटे अंतर शोर पैदा कर सकते हैं। टीमों को अपने वास्तविक कार्यों और विफलताओं से निर्मित निजी मूल्यांकन सेट से सबसे अधिक मूल्य मिलता है, जो बार-बार चलता है और समय के साथ ट्रैक किया जाता है।

वास्तविक विश्व कार्यान्वयन

कोडिंग-एजेंट टीम प्रत्येक प्रयास को इस आधार पर स्कोर करती है कि रिपॉजिटरी के छिपे हुए परीक्षण एजेंट के पैच के बाद पास होते हैं या नहीं, जैसा कि एसडब्ल्यूई-बेंच करती है, बजाय इसके कि अंतर सही दिखता है या नहीं।

एक ग्राहक-सेवा एजेंट सिम्युलेटेड उपयोगकर्ताओं और एक नकली बुकिंग डेटाबेस के विरुद्ध चलता है। ग्रेडर जाँचते हैं कि क्या अंतिम डेटाबेस स्थिति सही परिणाम से मेल खाती है और क्या एजेंट ने रिफंड नीति का पालन किया है।

एक इंजीनियरिंग टीम प्रत्येक कार्य को पांच बार चलाती है और रिपोर्ट करती है कि एजेंट सभी पांचों में कितनी बार सफल होता है, जो परतदार व्यवहार को उजागर करता है जिसे एक बार की सफलता दर छिपा देगी।

एक कंपनी एक सुरक्षा सूट जोड़ती है जिसमें कार्यों में फ़ाइलों को हटाने या डेटा लीक करने के लिए एक नियोजित निर्देश शामिल होता है, और यदि एजेंट ने इसका पालन किया तो यह अन्यथा सफल रन को विफल मानता है।

एआई एजेंटों के मूल्यांकन का भविष्य

जैसे-जैसे एजेंट लंबे कार्य करते हैं, मूल्यांकन लंबे क्षितिज, अधिक यथार्थवादी वातावरण और विश्वसनीयता और लागत के साथ-साथ चरम क्षमता के उपायों की ओर बढ़ रहे हैं। बेंचमार्क संतृप्ति और संदूषण संभवतः डेवलपर्स को नए कार्य बनाने और निजी, डोमेन-विशिष्ट परीक्षण सेटों पर अधिक भरोसा करने के लिए प्रेरित करते रहेंगे। त्वरित इंजेक्शन के प्रतिरोध सहित सुरक्षा और सुरक्षा मूल्यांकन पर अधिक ध्यान दिया जा रहा है क्योंकि एजेंटों को वास्तविक सिस्टम तक पहुंच मिलती है। ओपन-एंडेड एजेंट व्यवहार की ग्रेडिंग के लिए कोई सहमत मानक नहीं है, इसलिए परिणाम जांच, कैलिब्रेटेड मॉडल ग्रेडर और मानव समीक्षा का संयोजन सामान्य अभ्यास बने रहने की संभावना है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Evaluating AI Agents quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

एआई एजेंटों का मूल्यांकन क्या है?

एआई एजेंटों का मूल्यांकन करने का मतलब यह मापना है कि एक बहु-चरण प्रणाली यथार्थवादी सेटिंग्स में लक्ष्यों तक कितनी अच्छी तरह पहुंचती है। इसमें शामिल है कि क्या उसने कार्य पूरा कर लिया, क्या उसने जो रास्ता अपनाया वह समझदारी भरा था, क्या उसने उपकरणों का सही उपयोग किया, उसकी लागत क्या थी और क्या वह सुरक्षित रहा। एजेंट कई चरणों में कार्य करते हैं और उनके दुष्प्रभाव होते हैं, इसलिए किसी संदर्भ के विरुद्ध एक ही उत्तर की जाँच करना पर्याप्त नहीं है, और अच्छे मूल्यांकन आमतौर पर एजेंट को नियंत्रित वातावरण के अंदर चलाते हैं और अंतिम स्थिति का निरीक्षण करते हैं।

एजेंटों के लिए एक ही अंतिम उत्तर की जाँच करना आमतौर पर पर्याप्त क्यों नहीं है?

बहु-चरणीय कार्रवाइयां वातावरण को बदल देती हैं, इसलिए आपको यह जांचने की आवश्यकता है कि वास्तव में क्या हुआ और कैसे हुआ, न कि केवल अंतिम पाठ की।

एसडब्ल्यूई-बेंच यह कैसे तय करती है कि किसी एजेंट ने कोई समस्या हल कर दी है या नहीं?

पर्यावरण-आधारित जांच, यहां परियोजना के परीक्षण, यह तय करते हैं कि समाधान वास्तव में काम करता है या नहीं।

पास^के स्टाइल मीट्रिक क्या मापता है?

सभी k प्रयासों में सफलता की आवश्यकता निरंतरता को मापती है, जो वास्तविक उपयोगकर्ताओं के लिए तैनात एजेंटों के लिए मायने रखती है।

कौन सा आयाम उस एजेंट को चिह्नित करेगा जो सफल होता है लेकिन पांच-चरणीय कार्य के लिए पचास कदम उठाता है?

प्रक्षेपवक्र जाँचें लिए गए पथ का आकलन करती हैं, लूपों को पकड़ती हैं और अपशिष्ट को पकड़ती हैं जिससे परिणामी जाँचें अकेले छूट जाती हैं।

मॉडल-आधारित ग्रेडर्स की ज्ञात कमज़ोरी क्या है?

मॉडल ग्रेडर लचीले होते हैं लेकिन मानवीय निर्णय के विरुद्ध उनकी जांच की जानी चाहिए और व्यवस्थित पूर्वाग्रह पर नजर रखनी चाहिए।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →