शोधकर्ताओं ने एआई कोडिंग एजेंट संदर्भ का मूल्यांकन करने के लिए सीएएफई(एस) ढांचे की शुरुआत की

क्या हुआ?

DX (एक एटलसियन सहायक कंपनी), कैपिटल वन, GitHub, Google और विक्टोरिया विश्वविद्यालय के शोधकर्ताओं ने CAFE(S) फ्रेमवर्क पेश किया है, जो ACM क्यू में प्रकाशित हुआ है। फ्रेमवर्क एआई कोडिंग एजेंटों को आपूर्ति किए गए संदर्भ की गुणवत्ता का मूल्यांकन करने के लिए एक नैदानिक ​​शब्दावली प्रदान करता है, जो संदर्भ गुणवत्ता के पांच विशिष्ट आयामों की पहचान करता है जो एजेंट के प्रदर्शन को प्रभावित करते हैं।

CAFE(S) ढांचा एक बहु-संस्थागत टीम द्वारा विकसित किया गया था जिसमें DX, Capital One, GitHub, Google और विक्टोरिया विश्वविद्यालय के शोधकर्ता शामिल थे। इसे प्लेटफ़ॉर्म टीमों और सॉफ़्टवेयर इंजीनियरों को एआई कोडिंग एजेंटों को फ़ीड करने वाले सूचना वातावरण का मूल्यांकन करने में मदद करने के लिए डिज़ाइन किया गया है।

शोध के अनुसार, एआई कोडिंग में कार्य विफलताओं को अक्सर मॉडल सीमाओं या ऑर्केस्ट्रेशन मुद्दों के लिए गलत ठहराया जाता है, जब वे अक्सर मॉडल को प्रदान किए गए संदर्भ की गुणवत्ता के कारण होते हैं। टीमों को इन मुद्दों की पहचान करने और उन्हें सुधारने में मदद करने के लिए रूपरेखा संदर्भ गुणवत्ता के पांच आयाम स्थापित करती है।

लेखकों का तर्क है कि एआई खराब ज्ञान प्रबंधन की लागत को बढ़ाता है, क्योंकि अस्पष्ट या पुराने डेटा पर काम करने के लिए मजबूर एजेंटों से त्रुटियां उत्पन्न होने की अधिक संभावना होती है जिन्हें मनुष्यों को ठीक करना होगा।

स्रोत विवरण: natlawreview.com ↗

यह क्यों मायने रखता है?

सीएएफई(एस) ढांचा एआई-सहायता प्राप्त सॉफ्टवेयर विकास में एक महत्वपूर्ण बाधा को संबोधित करता है: खराब गुणवत्ता वाले इनपुट डेटा के कारण मॉडल प्रदर्शन में गिरावट। 'संदर्भ गुणवत्ता' के लिए एक साझा शब्दावली स्थापित करके, ढांचा मॉडल क्षमताओं से सूचना वातावरण की इंजीनियरिंग पर ध्यान केंद्रित करता है। यह महत्वपूर्ण है क्योंकि अस्पष्ट, अपूर्ण या पुराना डेटा प्रदान किए जाने पर उन्नत मॉडल भी अक्सर विफल हो जाते हैं, जिसके कारण डेवलपर को फिर से काम करना पड़ता है और टोकन लागत में वृद्धि होती है। फ्रेमवर्क का उद्देश्य संदर्भ गुणवत्ता को एक औपचारिक इंजीनियरिंग अनुशासन के रूप में मानना ​​है, जिससे टीमों को व्यवस्थित रूप से निदान करने की अनुमति मिलती है कि एजेंट क्यों विफल होते हैं और एआई-संचालित कोडिंग वर्कफ़्लो की विश्वसनीयता में सुधार करते हैं।

फ्रेमवर्क का उद्देश्य 'गुणवत्ता स्कोरकार्ड' के रूप में कार्य करना है जो मौजूदा सॉफ्टवेयर विकास स्टैक के ऊपर बैठता है। संदर्भ पर चर्चा करने के लिए उपयोग की जाने वाली भाषा को मानकीकृत करके, लेखक एआई एजेंटों का समर्थन करने वाली डेटा पाइपलाइनों के अधिक सुविचारित डिजाइन और रखरखाव को सक्षम करने की उम्मीद करते हैं।

इंजीनियरिंग टीमों के लिए व्यावहारिक निहितार्थ सूचना वातावरण को प्रथम श्रेणी इंजीनियरिंग चिंता के रूप में मानने की दिशा में बदलाव है। इस दृष्टिकोण का उद्देश्य 'टोकन बर्बादी' और विश्वसनीयता जोखिमों को कम करना है, संभावित रूप से एआई कोडिंग टूल के उपयोग को बढ़ाने वाले संगठनों के लिए निवेश पर रिटर्न में सुधार करना है।

आगे क्या देखना है

रूपरेखा वर्तमान में मात्रात्मक माप प्रणाली के बजाय नैदानिक ​​शब्दावली के रूप में कार्य करती है। भविष्य के विकास इन पांच आयामों का बड़े पैमाने पर आकलन करने के लिए विश्वसनीय मेट्रिक्स बनाने और यह निर्धारित करने पर ध्यान केंद्रित करेंगे कि संदर्भ गुणवत्ता में विशिष्ट सुधार सॉफ्टवेयर डिलीवरी, डेवलपर उत्पादकता और संगठनात्मक दक्षता में मापने योग्य परिणामों के साथ कैसे संबंधित हैं।

शोध में स्पष्ट रूप से कहा गया है कि सीएएफई(एस) परिभाषा के लिए एक ढांचा है, न कि स्वचालित माप के लिए एक प्रणाली। उद्योग को बाद के अनुसंधान या टूलींग पर नजर रखने की आवश्यकता होगी जो इन पांच आयामों को मापने का प्रयास करता है।

पर्यवेक्षकों को इस बात की निगरानी करनी चाहिए कि क्या इस ढांचे को प्रमुख विकास प्लेटफार्मों द्वारा अपनाया गया है या मानकीकृत नैदानिक ​​​​रिपोर्टिंग प्रदान करने के लिए मौजूदा एआई कोडिंग एजेंट वर्कफ़्लो में एकीकृत किया गया है।

संबंधित मार्गदर्शिकाएँ एवं प्रश्नोत्तरी