क्या हुआ?
ग्राफइको एक बेंचमार्क है जिसे बड़े भाषा मॉडल (एलएलएम) ग्राफ एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह परीक्षण करता है कि क्या ये एजेंट बार-बार होने वाली मुठभेड़ों और अतिरिक्त पुष्टि के बीच अंतर कर सकते हैं। बेंचमार्क साक्ष्य सामग्री को स्थिर रखते हुए पथ गणना और साक्ष्य उत्पत्ति को बदलता है, और निर्णय और सक्रिय अन्वेषण दोनों का मूल्यांकन करता है।
ग्राफइको परीक्षण करता है कि क्या एलएलएम एजेंट अतिरिक्त पुष्टि के लिए बार-बार होने वाली मुठभेड़ों की गलती करते हैं।
बेंचमार्क साक्ष्य सामग्री को स्थिर रखते हुए पथ गणना और साक्ष्य उत्पत्ति को बदलता है, और निर्णय और सक्रिय अन्वेषण दोनों का मूल्यांकन करता है।
नियंत्रित सिंथेटिक प्रयोगों से मॉडल-निर्भर निर्णय बदलाव का पता चलता है, लेकिन अनावश्यक सहायक पथ सभी मूल्यांकन किए गए जमे हुए एजेंटों में बार-बार चलने की हिस्सेदारी को बढ़ाते हैं।
प्रोवेंस-अवेयर पोस्ट-ट्रेनिंग (पीएपीटी) पुन: दौरे को कम करता है और सिंथेटिक सटीकता में सुधार करता है, फिर भी कम विशिष्ट स्रोतों को कवर करता है।
वैज्ञानिक दावों के अनुसार, यह दोहराव को कम करना जारी रखता है जबकि सटीकता में गिरावट आती है।
यह क्यों मायने रखता है?
ग्राफ़इको यह मूल्यांकन करने के लिए एक नियंत्रित तरीका प्रदान करता है कि ग्राफ़ एजेंट क्या निष्कर्ष निकालते हैं और क्या उनका अन्वेषण विशिष्ट साक्ष्य स्रोतों तक पहुंचता है। यह महत्वपूर्ण है क्योंकि यह कुशल अन्वेषण और प्रभावी साक्ष्य उपयोग के बीच अंतर को उजागर करता है: एक एजेंट अपनी आवश्यक जानकारी को नजरअंदाज करते हुए खुद को दोहराना बंद करना सीख सकता है।
ग्राफ़इको यह मूल्यांकन करने के लिए एक नियंत्रित तरीका प्रदान करता है कि ग्राफ़ एजेंट क्या निष्कर्ष निकालते हैं और क्या उनका अन्वेषण विशिष्ट साक्ष्य स्रोतों तक पहुंचता है।
यह महत्वपूर्ण है क्योंकि यह कुशल अन्वेषण और प्रभावी साक्ष्य उपयोग के बीच अंतर को उजागर करता है: एक एजेंट अपनी आवश्यक जानकारी को नजरअंदाज करते हुए खुद को दोहराना बंद करना सीख सकता है।
ग्राफइको के निष्कर्षों का अधिक प्रभावी एलएलएम ग्राफ एजेंटों के विकास पर प्रभाव पड़ता है।
बेंचमार्क का उपयोग विभिन्न एलएलएम ग्राफ एजेंटों के प्रदर्शन का मूल्यांकन करने और सुधार के क्षेत्रों की पहचान करने के लिए किया जा सकता है।
ग्राफइको के परिणाम एलएलएम ग्राफ एजेंटों के लिए अधिक प्रभावी अन्वेषण रणनीतियों के डिजाइन की जानकारी दे सकते हैं।
इंटरैक्टिव तंत्र: यह वास्तव में कैसे काम करता है
इस विकास के पीछे अंतर्निहित प्रौद्योगिकी का अंतःक्रियात्मक रूप से अन्वेषण करें।
crm_get_transaction(id='4092').A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
आगे क्या देखना है
ग्राफइको के निष्कर्ष, विशेष रूप से मॉडल-निर्भर निर्णय बदलाव और पुनरीक्षण और सिंथेटिक सटीकता पर उद्गम-जागरूक पोस्ट-ट्रेनिंग (पीएपीटी) का प्रभाव।
अधिक प्रभावी एलएलएम ग्राफ एजेंटों के विकास पर ग्राफइको का प्रभाव।
विभिन्न एलएलएम ग्राफ एजेंटों के प्रदर्शन का मूल्यांकन करने में ग्राफइको के संभावित अनुप्रयोग।
एलएलएम ग्राफ एजेंटों के लिए अधिक प्रभावी अन्वेषण रणनीतियों के डिजाइन के लिए ग्राफइको के निष्कर्षों के निहितार्थ।
विभिन्न एलएलएम ग्राफ एजेंटों के प्रदर्शन के मूल्यांकन के लिए ग्राफइको को एक बेंचमार्क के रूप में उपयोग करने की क्षमता।
अधिक प्रभावी एलएलएम ग्राफ एजेंटों के डिजाइन को सूचित करने के लिए ग्राफइको की क्षमता।