तकनीकी गाइड

एजेंट मचान और हार्नेस

एक एजेंट हार्नेस, या स्कैफोल्ड, एक भाषा मॉडल के चारों ओर का कोड है जो इसे एक एजेंट में बदल देता है: यह मॉडल को कॉल करने, उसके द्वारा अनुरोध किए गए टूल को निष्पादित करने, परिणामों को वापस फीड करने और यह तय करने का लूप चलाता है कि कब रुकना है।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर3 मिनट लाल
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. एजेंट मचान और हार्नेस का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

यह मायने रखता है क्योंकि हार्नेस दृढ़ता से परिणामों को आकार देता है, इसलिए एक ही मॉडल एक ही बेंचमार्क पर बहुत अलग तरीके से स्कोर कर सकता है, यह इस बात पर निर्भर करता है कि उसके उपकरण, संदर्भ और त्रुटि प्रबंधन कैसे डिज़ाइन किए गए हैं।

गहरा गोता

एक भाषा मॉडल स्वयं ही पाठ उत्पन्न करता है। एक एजेंट को एक प्रोग्राम की आवश्यकता होती है जो मॉडल से बार-बार पूछता है कि क्या करना है, कार्रवाई करता है, और मॉडल को दिखाता है कि क्या हुआ। वह प्रोग्राम है हार्नेस. इसके मुख्य भाग हैं लूप, टूल डेफिनिशन, टूल डिस्पैच, संदर्भ प्रबंधन, स्टॉपिंग नियम और त्रुटि प्रबंधन। लूप अब तक की बातचीत को मॉडल तक भेजता है। यदि मॉडल किसी टूल का अनुरोध करता है, तो हार्नेस तर्कों को मान्य करता है, टूल चलाता है, और परिणाम जोड़ता है। यदि मॉडल अंतिम उत्तर देता है, तो लूप समाप्त हो जाता है। रोकने के नियम सीमाएँ जोड़ते हैं: चरणों की अधिकतम संख्या, एक टोकन या लागत बजट, एक टाइमआउट, या परीक्षण पास करने जैसी जाँच। टूल डिज़ाइन का बड़ा प्रभाव होता है। 2024 में प्रकाशित प्रिंसटन शोधकर्ताओं के एसडब्ल्यूई-एजेंट प्रोजेक्ट ने तर्क दिया कि एजेंटों को मॉडल के लिए डिज़ाइन किए गए एजेंट-कंप्यूटर इंटरफ़ेस की आवश्यकता होती है, जिसमें संक्षिप्त फ़ाइल व्यूअर, खोज कमांड और खराब संपादन पर तत्काल प्रतिक्रिया होती है, और मॉडल को एक सादा शेल देने की तुलना में इसमें बेहतर परिणाम दिखाए गए हैं। आउटपुट फ़ॉर्मेटिंग भी मायने रखती है: बड़े आउटपुट को छोटा करना, त्रुटियों को स्पष्ट रूप से सारांशित करना और संरचित परिणाम लौटाने से मॉडल को सही ढंग से कार्य करने में मदद मिलती है। संदर्भ प्रबंधन यह तय करता है कि इतिहास बढ़ने पर मॉडल क्या देखता है: हाल के कदमों को रखना, पुराने कदमों का सारांश बनाना, या फाइलों में नोट्स संग्रहीत करना। त्रुटि प्रबंधन यह तय करता है कि विफल टूल कॉल रन को क्रैश कर देती है या मॉडल में उस जानकारी के रूप में वापस आ जाती है जिस पर वह प्रतिक्रिया कर सकता है। यही कारण है कि बेंचमार्क संख्याओं को संदर्भ की आवश्यकता होती है। एसडब्ल्यूई-बेंच जैसे कोडिंग बेंचमार्क पर, एक मॉडल के लिए रिपोर्ट किए गए स्कोर मचान, पुनः प्रयास नीतियों और चरण सीमाओं के अनुसार भिन्न होते हैं। एक आम ग़लतफ़हमी यह है कि लीडरबोर्ड संख्या अकेले मॉडल को मापती है; यह मॉडल प्लस हार्नेस प्लस सेटिंग्स को मापता है। कमांड-लाइन कोडिंग एजेंट जैसे उत्पाद, बड़े पैमाने पर, एक मॉडल के चारों ओर सावधानीपूर्वक इंजीनियर किए गए हार्नेस हैं।

वास्तविक विश्व कार्यान्वयन

एक कोडिंग एजेंट हार्नेस मॉडल टूल को फाइलों को देखने, विशिष्ट लाइन रेंज को संपादित करने और परीक्षण चलाने के लिए देता है, फिर तब तक लूप करता है जब तक कि परीक्षण पास नहीं हो जाते या चरण सीमा पूरी नहीं हो जाती।

एक अनुसंधान सहायक हार्नेस 20 टूल कॉल के बाद लूप बंद कर देता है और मॉडल से स्रोतों के साथ सारांश मांगता है, जिससे अनावश्यक लागत को रोका जा सके।

एक टीम एक रॉ शेल टूल को एक फ़ाइल एडिटर से बदल देती है जो लाइनों की एक छोटी विंडो दिखाता है और सिंटैक्स त्रुटियों की तुरंत रिपोर्ट करता है, और मॉडल को बदले बिना आंतरिक कार्यों पर उनके एजेंट की सफलता दर में सुधार होता है।

एक ग्राहक परिचालन एजेंट हार्नेस एक निर्धारित राशि से ऊपर किसी भी रिफंड टूल कॉल को रोकता है और इसे निष्पादित करने से पहले मानव अनुमोदन के लिए रोक देता है।

एजेंट मचान और हार्नेस का भविष्य

मॉडल प्रदाता तेजी से अपने स्वयं के एजेंट उत्पादों और सॉफ्टवेयर विकास किटों को शिप करते हैं, जो टूल स्कीमा, अनुमतियां और संदर्भ संपीड़न जैसे कुछ हार्नेस पैटर्न को मानकीकृत करते हैं। टूल को मॉडल से जोड़ने के लिए प्रोटोकॉल, जैसे मॉडल कॉन्टेक्स्ट प्रोटोकॉल, टूल एकीकरण को अधिक पुन: प्रयोज्य बनाते हैं। हार्नेस डिज़ाइन प्रदर्शन अंतर का एक सार्थक स्रोत बने रहने की संभावना है, और मूल्यांकन मॉडल के साथ-साथ मचान की रिपोर्ट करने की ओर बढ़ रहे हैं। बिल्डरों के लिए, सावधानीपूर्वक टूल डिज़ाइन, स्पष्ट स्टॉपिंग नियम और अच्छी लॉगिंग मायने रखती रहेगी चाहे नीचे कोई भी मॉडल हो।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Agent Scaffolding and Harnesses quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

एजेंट मचान और हार्नेस क्या है?

एक एजेंट हार्नेस, या स्कैफोल्ड, एक भाषा मॉडल के चारों ओर का कोड है जो इसे एक एजेंट में बदल देता है: यह मॉडल को कॉल करने, उसके द्वारा अनुरोध किए गए टूल को निष्पादित करने, परिणामों को वापस फीड करने और यह तय करने का लूप चलाता है कि कब रुकना है। यह मायने रखता है क्योंकि हार्नेस दृढ़ता से परिणामों को आकार देता है, इसलिए एक ही मॉडल एक ही बेंचमार्क पर बहुत अलग तरीके से स्कोर कर सकता है, यह इस बात पर निर्भर करता है कि उसके उपकरण, संदर्भ और त्रुटि प्रबंधन कैसे डिज़ाइन किए गए हैं।

एजेंट हार्नेस क्या है?

हार्नेस आसपास का प्रोग्राम है जो टेक्स्ट-जनरेटिंग मॉडल को एजेंट में बदल देता है।

रोकने के नियम का उदाहरण कौन सा है?

स्टॉपिंग नियम चरण गणना, बजट, टाइमआउट या सफलता जांच जैसी सीमाओं के आधार पर लूप को समाप्त करते हैं।

SWE-एजेंट परियोजना ने किस पर जोर दिया?

एसडब्ल्यूई-एजेंट ने तर्क दिया कि मॉडलों के लिए डिज़ाइन किए गए उपकरण सादे शेल की तुलना में परिणामों में सुधार करते हैं।

एक ही मॉडल अलग-अलग रिपोर्ट में SWE-बेंच पर अलग-अलग स्कोर क्यों कर सकता है?

एक बेंचमार्क स्कोर पूरे सिस्टम को मापता है, अकेले मॉडल को नहीं।

हार्नेस को आमतौर पर विफल टूल कॉल को कैसे संभालना चाहिए?

कार्रवाई योग्य त्रुटियों को लौटाने से मॉडल को रन समाप्त करने के बजाय अपने दृष्टिकोण को सही करने की सुविधा मिलती है।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →