Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator
NVIDIA SkillEvaluator measures the impact of verified skills on AI agent performance through a three-tier evaluation process.Lees verhaal
Geverifieerde bron: developer.nvidia.comDagelijks bijgewerkt2273 Geverifieerde verhalen
AI-nieuws. Zonder het lawaai.
Brongecontroleerde AI-verslaggeving van productlanceringen, beleidswijzigingen, veiligheidsonderzoek en industriële bewegingen, uitgelegd in eenvoudig Nederlands door een non-profit educatieteam.
Geverifieerde bronnen
Elk verhaal verwijst naar het sterkst beschikbare bewijs: originele bronnen indien beschikbaar, anders duidelijk toegeschreven verslaggeving.
Gewoon Engels
Wat er is gebeurd, waarom het ertoe doet en waar je naar moet kijken – zonder het jargon.
Geen opvulling
Wanneer het signaal dun is, publiceren we niets in plaats van de feed op te vullen.
Meer verhalen
9 VerhalenInnovatie
Benchmark Says Top Multimodal Models Score Under 10% at Reading Words From Pen Sounds and Hand Motion
A new arXiv paper introduces a test in which models must infer a written word from pen-scratch audio and hand-movement video, with no ink visible. The authors report humans above 80% ordered letter accuracy and leading models below 10% — and that giving models both modalities often made results worse.arxiv.orgInnovatie
Paper zegt dat agent-bewust cachebeheer de vertraging bij het eerste token tot 45% vermindert bij het serveren door meerdere agenten
Een nieuwe arXiv-preprint beschrijft CacheScout, een laag gebouwd op de open-source vLLM-server die beslist wat er in de sleutelwaardecache van een model moet worden bewaard op basis van welke agent waarschijnlijk als volgende zal worden uitgevoerd. De auteurs rapporteren latentie- en doorvoerwinsten met dubbele cijfers; de werklasten, modellen en hardware worden niet in samenvatting vermeld.arxiv.orgInnovatie
Audit of an OpenAI AI-Generated Proof Finds a Reversed Condition, and Publishes a Repair
Two researchers say a lemma proof in Chapter 6 of OpenAI's mathematics document has a polarity error: a test in terms of average success where the next step needs a large conditional failure. They give a counterexample and a corrected proof, and caution that this is not verification of the chapter's main theorem.arxiv.orgInnovatie
Uit replicatieonderzoek blijkt dat FLOP's de AI-runtime nog steeds verkeerd voorspellen en dat de voorgestelde oplossing mislukt op nieuwere hardware
Een preprint van twee onderzoekers reproduceert een eerder onderzoek naar waarom gelijke FLOP-tellingen niet dezelfde uitvoeringstijd betekenen. Het bevestigt de onderliggende claim, maar rapporteert dat de α-FLOPs-correctieformule over het algemeen de runtime op nieuwere hardware onderschat, wat sprongen en oscillaties laat zien die de formule niet opvangt.arxiv.orgOnderneming
Benchmark Paper Finds Four Ways to Query Enterprise Data With LLMs All Score Under 26%
A new arXiv preprint pits four architectures for natural-language querying of enterprise databases against each other on a synthetic bilingual benchmark. None answered more than about a quarter of cases correctly, and the design that scored highest was not the safest or the cheapest.arxiv.orgInnovatie
Paper Proposes Grading AI Security Agents Without Labels by Measuring Convergence to a Stronger Model
A new arXiv preprint argues security teams can judge whether a memory- or retrieval-equipped AI agent is learning by measuring how far it closes the gap to a stronger "teacher" model, rather than on labeled benchmarks that are often scarce or stale. Judging by a similarly powered model gave no usable signal.arxiv.orgInnovatie
Nieuwe benchmarktests of AI-assistenten zich een jaar telefoongebruik kunnen herinneren
Een technisch rapport met 17 auteurs, gepost op arXiv, introduceert MobileMem, een benchmark en raamwerk voor langetermijngeheugen op het apparaat, opgebouwd uit een verzameling mobiele ervaringen op jaarbasis. De samenvatting beschrijft het ontwerp, maar rapporteert geen scores, en belangrijke details over de onderliggende gegevens blijven geheim.arxiv.orgInnovatie
Paper Reports Brain-Like Modular Organization Emerging Inside Large Language Models
A new arXiv preprint says large language models develop functionally specialized internal structure that lines up with distinct human brain networks, based on circuit analyses across 46 tasks in four cognitive domains. The abstract page leaves key methodological details unstated.arxiv.orgInnovatie
Paper Finds Late Layers of a Mixture-of-Experts Model Tolerate Heavy Expert Masking
A preprint reports that disabling low-magnitude experts in the last five layers of a 35-billion-parameter Mixture-of-Experts model preserved far more usable code-translation outputs than spreading the same cuts across all layers. It covers one model and one benchmark, and the abstract reports no unmasked baseline.arxiv.org
Elke week één nuttige briefing
Houd AI bij zonder in de feed te leven.
Ontvang het geverifieerde AI-nieuws van de week, originele data, nuttige tools, leertips en nieuwe AI-banen.
Bereik mensen die AI leren
Een AI-professional inhuren of een nuttig AI-product lanceren? Zet het voor mensen die hier zijn gekomen om te leren en te acteren.
Plaats een AI-taakDien een AI-tool in