Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator
NVIDIA SkillEvaluator measures the impact of verified skills on AI agent performance through a three-tier evaluation process.读故事
来源已验证: developer.nvidia.com已验证来源
每个故事都链接到最有力的可用证据：可用的原始来源，否则明确归因的报告。
简单的英语
发生了什么、为什么重要以及值得关注的内容——无需行话。
无填料
当信号很弱时，我们不会发布任何内容，而是填充提要。
更多故事
9 故事创新
Benchmark Says Top Multimodal Models Score Under 10% at Reading Words From Pen Sounds and Hand Motion
A new arXiv paper introduces a test in which models must infer a written word from pen-scratch audio and hand-movement video, with no ink visible. The authors report humans above 80% ordered letter accuracy and leading models below 10% — and that giving models both modalities often made results worse.arxiv.org创新
论文称，代理感知缓存管理可将多代理服务中的第一个令牌延迟减少高达 45%
新的 arXiv 预印本描述了 CacheScout，这是一个基于开源 vLLM 服务器构建的层，它根据下一步可能运行的代理来决定在模型的键值缓存中保留哪些内容。作者报告了两位数的延迟和吞吐量增益；摘要中未说明工作负载、模型和硬件。arxiv.org创新
Audit of an OpenAI AI-Generated Proof Finds a Reversed Condition, and Publishes a Repair
Two researchers say a lemma proof in Chapter 6 of OpenAI's mathematics document has a polarity error: a test in terms of average success where the next step needs a large conditional failure. They give a counterexample and a corrected proof, and caution that this is not verification of the chapter's main theorem.arxiv.org创新
Replication Study Says FLOPs Still Mispredict AI Runtime, and the Proposed Fix Fails on Newer Hardware
A preprint by two researchers reproduces an earlier study on why equal FLOP counts do not mean equal execution time. It confirms the underlying claim but reports that the α-FLOPs correction formula generally underestimates runtime on newer hardware, which shows jumps and oscillations the formula does not capture.arxiv.org企业
基准论文发现法学硕士查询企业数据的四种方法，得分均低于 26%
新的 arXiv 预印本在综合双语基准上对企业数据库自然语言查询的四种架构进行了比较。没有人正确回答了超过四分之一的案例，而且得分最高的设计并不是最安全或最便宜的。arxiv.org创新
论文提出通过测量更强模型的收敛性来对没有标签的人工智能安全代理进行分级
新的 arXiv 预印本认为，安全团队可以通过测量配备记忆或检索的人工智能代理与更强大的“教师”模型的差距缩小多少来判断其是否正在学习，而不是根据通常稀缺或陈旧的标记基准。从类似动力模型来看，没有给出可用的信号。arxiv.org创新
新基准测试人工智能助手能否记住一年的手机使用情况
arXiv 上发布的一份由 17 位作者组成的技术报告介绍了 MobileMem，这是一个根据一年规模的移动体验集合构建的设备上长期记忆的基准和框架。摘要描述了设计，但没有报告分数，并且有关基础数据的关键细节仍未公开。arxiv.org创新
论文报告大型语言模型中出现的类脑模块化组织
arXiv 的新预印本称，基于四个认知领域 46 项任务的电路分析，大型语言模型开发了功能专门的内部结构，与不同的人脑网络相一致。摘要页面未说明关键的方法细节。arxiv.org创新
论文发现专家混合模型的后期层可以承受严重的专家掩蔽
一份预印本报告称，在 350 亿参数混合专家模型的最后五层中禁用低量级专家，比在所有层上传播相同的剪切保留了更多可用的代码翻译输出。它涵盖一种模型和一项基准，并且摘要报告没有公开的基准。arxiv.org