Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator
NVIDIA SkillEvaluator measures the impact of verified skills on AI agent performance through a three-tier evaluation process.कहानी पढ़ें
सत्यापित स्रोत: developer.nvidia.comप्रतिदिन अद्यतन किया जाता है2273 सत्यापित कहानियाँ
एआई न्यूज। बिना शोर के.
उत्पाद लॉन्च, नीति परिवर्तन, सुरक्षा अनुसंधान और उद्योग चाल की स्रोत-जांच की गई एआई कवरेज, एक गैर-लाभकारी शिक्षा टीम द्वारा सरल अंग्रेजी में समझाई गई है।
सत्यापित सोर्सिंग
प्रत्येक कहानी सबसे मजबूत उपलब्ध साक्ष्य से जुड़ी होती है: उपलब्ध होने पर मूल स्रोत, अन्यथा स्पष्ट रूप से जिम्मेदार रिपोर्टिंग।
सादा अंग्रेजी
क्या हुआ, यह क्यों मायने रखता है, और क्या देखना है - शब्दजाल के बिना।
कोई भराव नहीं
जब सिग्नल पतला होता है, तो हम फ़ीड को पैड करने के बजाय कुछ भी प्रकाशित नहीं करते हैं।
और कहानियाँ
9 कहानियांनवीनता
Benchmark Says Top Multimodal Models Score Under 10% at Reading Words From Pen Sounds and Hand Motion
A new arXiv paper introduces a test in which models must infer a written word from pen-scratch audio and hand-movement video, with no ink visible. The authors report humans above 80% ordered letter accuracy and leading models below 10% — and that giving models both modalities often made results worse.arxiv.orgनवीनता
पेपर का कहना है कि एजेंट-अवेयर कैश प्रबंधन मल्टी-एजेंट सर्विंग में प्रथम-टोकन विलंब को 45% तक कम कर देता है
एक नया arXiv प्रीप्रिंट कैशस्काउट का वर्णन करता है, जो ओपन-सोर्स vLLM सर्वर पर बनी एक परत है जो यह तय करती है कि किसी मॉडल के कुंजी-मूल्य कैश में क्या रखना है, जिसके आधार पर अगले एजेंट के चलने की संभावना है। लेखक दोहरे अंक की विलंबता और थ्रूपुट लाभ की रिपोर्ट करते हैं; सार में कार्यभार, मॉडल और हार्डवेयर का उल्लेख नहीं किया गया है।arxiv.orgनवीनता
Audit of an OpenAI AI-Generated Proof Finds a Reversed Condition, and Publishes a Repair
Two researchers say a lemma proof in Chapter 6 of OpenAI's mathematics document has a polarity error: a test in terms of average success where the next step needs a large conditional failure. They give a counterexample and a corrected proof, and caution that this is not verification of the chapter's main theorem.arxiv.orgनवीनता
Replication Study Says FLOPs Still Mispredict AI Runtime, and the Proposed Fix Fails on Newer Hardware
A preprint by two researchers reproduces an earlier study on why equal FLOP counts do not mean equal execution time. It confirms the underlying claim but reports that the α-FLOPs correction formula generally underestimates runtime on newer hardware, which shows jumps and oscillations the formula does not capture.arxiv.orgउद्यम
बेंचमार्क पेपर 26% से कम स्कोर वाले एलएलएम के साथ एंटरप्राइज़ डेटा को क्वेरी करने के चार तरीके ढूंढता है
एक नया arXiv प्रीप्रिंट एक सिंथेटिक द्विभाषी बेंचमार्क पर एक दूसरे के खिलाफ एंटरप्राइज़ डेटाबेस की प्राकृतिक-भाषा क्वेरी के लिए चार आर्किटेक्चर पेश करता है। लगभग एक चौथाई से अधिक मामलों का किसी ने भी सही उत्तर नहीं दिया, और जिस डिज़ाइन ने सबसे अधिक अंक प्राप्त किए वह सबसे सुरक्षित या सबसे सस्ता नहीं था।arxiv.orgनवीनता
पेपर एक मजबूत मॉडल में अभिसरण को मापकर बिना लेबल के एआई सुरक्षा एजेंटों की ग्रेडिंग का प्रस्ताव करता है
एक नए arXiv प्रीप्रिंट का तर्क है कि सुरक्षा टीमें यह निर्धारित कर सकती हैं कि मेमोरी- या पुनर्प्राप्ति-सुसज्जित एआई एजेंट यह मापकर सीख रहा है कि यह एक मजबूत "शिक्षक" मॉडल के अंतर को कितनी दूर तक कम करता है, बजाय लेबल वाले बेंचमार्क पर जो अक्सर दुर्लभ या बासी होते हैं। समान रूप से संचालित मॉडल को देखते हुए कोई प्रयोग करने योग्य संकेत नहीं मिला।arxiv.orgनवीनता
नए बेंचमार्क परीक्षण करते हैं कि क्या एआई असिस्टेंट एक साल तक फोन के इस्तेमाल को याद रख सकते हैं
arXiv पर पोस्ट की गई 17-लेखकों की तकनीकी रिपोर्ट MobileMem का परिचय देती है, जो मोबाइल अनुभवों के साल-दर-साल संग्रह से निर्मित ऑन-डिवाइस दीर्घकालिक मेमोरी के लिए एक बेंचमार्क और रूपरेखा है। सार डिज़ाइन का वर्णन करता है लेकिन कोई स्कोर नहीं बताता है, और अंतर्निहित डेटा के बारे में मुख्य विवरण अज्ञात रहते हैं।arxiv.orgनवीनता
पेपर रिपोर्ट मस्तिष्क जैसा मॉड्यूलर संगठन बड़े भाषा मॉडल के अंदर उभर रहा है
एक नया arXiv प्रीप्रिंट कहता है कि बड़े भाषा मॉडल कार्यात्मक रूप से विशिष्ट आंतरिक संरचना विकसित करते हैं जो चार संज्ञानात्मक डोमेन में 46 कार्यों में सर्किट विश्लेषण के आधार पर अलग-अलग मानव मस्तिष्क नेटवर्क के साथ जुड़ते हैं। सार पृष्ठ में मुख्य पद्धतिगत विवरण को अघोषित छोड़ दिया गया है।arxiv.orgनवीनता
पेपर मिश्रण-विशेषज्ञ मॉडल की देर से परतें ढूंढता है जो भारी विशेषज्ञ मास्किंग को सहन करता है
एक प्रीप्रिंट रिपोर्ट में कहा गया है कि 35-बिलियन-पैरामीटर मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल की अंतिम पांच परतों में कम-परिमाण वाले विशेषज्ञों को अक्षम करने से सभी परतों में समान कटौती फैलाने की तुलना में कहीं अधिक उपयोगी कोड-अनुवाद आउटपुट संरक्षित होते हैं। इसमें एक मॉडल और एक बेंचमार्क शामिल है, और सार रिपोर्ट कोई उजागर आधार रेखा नहीं है।arxiv.org
प्रत्येक सप्ताह एक उपयोगी ब्रीफिंग
फ़ीड में पड़े बिना एआई के साथ बने रहें।
सप्ताह की सत्यापित एआई समाचार, मूल डेटा, उपयोगी उपकरण, सीखने के विकल्प और ताज़ा एआई नौकरियां प्राप्त करें।
उन लोगों तक पहुंचें जो AI सीख रहे हैं
एक एआई पेशेवर को नियुक्त करना या एक उपयोगी एआई उत्पाद लॉन्च करना? इसे उन लोगों के सामने रखें जो यहां सीखने और अभिनय करने आए हैं।
एआई जॉब पोस्ट करेंएक AI टूल सबमिट करें